Duelo de modelos de vision: Llama 3. 2 frente a MiniCPM-V usando Msty, un nuevo programa

En el episodio de hoy vamos a poner frente a frente a dos de los modelos de visión más recientes y accesibles: Llama 3.2 y MiniCPM-V. Para ello utilizaremos un herramienta multiplataforma llamada Msty, que nos permitirá ver las salidas de los modelos de lenguaje lado a lado. Comprobaremos cuál es el rendimiento de estos modelos identificando elementos en imágenes, respondiendo preguntas, extrayendo texto, organizando la información visual y mucho más.
Si tienes alguna propuesta para pruebas futuras o quieres saber más sobre Msty, deja tu comentario y dale a like!
Msty App: msty.app
Modelo Llama 3.2 11B Vision: huggingface.co...
Modelo MiniCPM-V 2.6: huggingface.co...

[@javaboy6581]

Que grande eres, maestro! A mi me encantan los modelos de clonacion de voz, que por desgracia para Español no esta muy alla, suena mucho a lata todavia, aunque lo que ha dicho otro comentario de los OCR tampoco me desagradan, aunque para eso uso CHATGPT que lo hace de lujo

[@ramir4327]

Hola. Faltó ver el tema de fórmulas matemáticas, si detecta las integrales y si las resolvería. Muy bueno el video. Un saludo

[@jaimemunoz3025]

gran aporte master

[@CyberIngeniero]

Excelente video! Te dejo una pregunta: Para sistemas que trabajan sobre documentos legales, que se esta usando? Que modelos resultan efectivos?

[@LaHoraMaker]

¿Que tipo de pruebas os gustaría ver en los próximos vídeos?

[@JorgeLamaVarela]

Comparativas de los mejores modelos para OCR, sobre todo para texto manuscrito

[@ane2301]

Te podria interesar mirar FlowiseAI, en pocas palabras te permite configurar rag y agentes a traves de una webui en local

[@LaHoraMaker]

@@JorgeLamaVarelagracias por la sugerencia. Una duda, por si lo tienes claro: los manuscritos originales están bajo dominio público, pero ¿sabes cuál es la licencia de las imágenes digitalizadas y de las transcripciones existentes de las mismas? Si tenemos acceso a ambos conjuntos de datos podríamos afinar algún modelo de visión para esta tarea :)

[@JorgeLamaVarela]

@@LaHoraMaker mi idea inicial era utilizarlo para transcribir mis propias notas manuscritas, a través de libretas tipo RocketBook

[@TheEltictacdicta]

Hola muy buen video, hace poco estuve viendo una herramienta nueva que combina Colqwen y ColPali que son codificadores de visión diseñados para la recuperación eficiente de documentos utilizando únicamente la representación de imágenes de las páginas de los documentos y generación de respuestas con modelos de lenguaje visual. Es una técnica que demuestra ser mas eficaz que los tradicionales métodos de OCR. Yo he hecho pruebas y combinando Colqwen y GPT4o las respuestas son bastante precisas, también se puede usar otros modelos como Qwen2-VL-7B-Instruct, LLAMA-3.2-11B-Vision, Pixtral-12B-2409, Molmo-7B-O-0924 y Google Gemini. Muy recomendable para que hagas pruebas en tu canal y así difundir la herramienta. La herramienta se llama localGPT-Vision y la puedes encontrar en github.com/PromtEngineer/localGPT-Vision