Buscador con IA local - Combinando resultados con modelos LLM usando LLocalSearch

[@santiagocastillo1719]

Muchas gracias por facilitar esta información (como los otros vídeos) de esta materia en español y de forma tan accesible.

[@LaHoraMaker]

Gracias a ti por tu comentario!

[@ser12369]

Muchas gracias !! por este increible contenido

[@LaHoraMaker]

Mil gracias por comentar!

[@juanjesusligero391]

¡Fantástico vídeo, como siempre! ^^ Por cierto, ahora que ha salido Llama-3, sería genial que grabases un tutorial explicando cómo finetunearlo o entrenar un LORA (de una versión cuantizada, Q4 por ejemplo, para que más gente pueda hacerlo), y preferiblemente explicándolo todo paso a paso, sin saltar nada (desde la creación o preparación del dataset hasta la inferencia desde el modelo o el LoRA entrenados). ¡Ojalá te guste la idea! :D

[@LaHoraMaker]

Primero voy a publicar uno sobre cómo probar llama-3 tanto si tienes GPU como si no, y luego nos ponemos con el finetuning!

[@juanjesusligero391]

@@LaHoraMaker ¡Estupendo! :D

[@SonGoku-pc7jl]

muchas gracias por estas infos tan buenas!

[@GoodSapiens]

De nuevo, mil gracias por la maravillosa inciativa y el contenido que nos facilitas a las personas que te seguimos. En otro de tus videos vimos como la AI utilizando modelos en abierto podía identificar elementos de una foto y en este vídeo como interactuar con contenido online. Combinando ambas ideas me surge una pregunta: ¿es posible o será posible utilizar modelos abiertos y que, igual que súbiamos una foto, podamos subir documentos y que combine las capacidades del LLM y de los documentos en el contexto y en la respuesta del _prompt_? Mil gracias por todo lo valioso que aportas.

[@cbanow]

Si .... excelente video como siempre !!!! Habria alguna forma de cambiar el LLM modelo ......ya que el que utiliza es realmente pesado para la mayoria de las PC, quizas con una versión cuantizada, Q4 por ejemplo, o directamente otro como mistral para que corra mejor !!!!

[@LaHoraMaker]

En el menú de la esquina superior derecha te detecta los modelos que tienes instalados. Si eliges uno más liviano debería cargártelo sin problemas

[@cbanow]

@@LaHoraMaker Muchas Gracias !!! Exactamente lo que estaba buscando !!!!!..... De nuevo Felicitaciones por el contenido de tus videos,... mucho mas detallado y preciso, y directamente al grano, mucho mejor que la mayoria de similares en Ingles !!........Son todo un privilegio para lo que hablamos Español !!!!!!

[@hellracer0]

Olé ahi mi querido señor barbudo. Es usted un crack

[@piero_0912]

genial, justo estoy haciendo tareas con modelos de lenguajes y descubri este canal, la verdad contenido de este tipo y con esa claridad no hay mucho en español,tenia una duda, sabes de algun modelo de para entender texto? actualmente estoy haciendo un buscador semantico y uso bert para extraer vectores del texto pero no es suficente para entender oraciones aveces mal redactadas o que son redundantes ,mi otro plan seria usar la api de chatgpt o usar algun otro modelo similar atraves de lm studio pero no se si tal vez por mi faltas de conocimiento me este saltando alguna otra solucion

[@LaHoraMaker]

Justo estuve hablando esta semana con el desarrollador del buscador este sobre modelos de embeddings multilingües. En su caso decidió probar con los embeddings de Nomic (que pueden usarse en Ollama directamente). En el hilo del Github tienes todos los detalles del modelo que mejor funcionan en multilingüe con la licencia abierta: github.com/nilsherzig/LLocalSearch/issues/49

[@piero_0912]

@@LaHoraMaker muchas gracias

[@daniwarindie]

Parece interesante

[@r4m3200]

Hola buenas, una pregunta que modelo en lm studio recomiendas para programas en python ?

[@LaHoraMaker]

Dale un vistazo a este leaderboard con los modelos evaluados para programación de mejor a peor: evalplus.github.io/leaderboard.html Está bastante actualizado y el mejor abierto suele ir variando con el tiempo

[@erikamoonreeves6462]

Te paso un like... ..

[@jcrm5762]

Sos un maestro. Me gustaría más adelante contactaros tengo en mente unos proyectos y me gustaría contar con su guía y sapiencia maestro Maker... Por lo demás felicitaciones por el buen contenido👍🏼

[@cristianquiroga7609]

hola hay alguna forma de usarlo con el proyecto strom de stanford?

[@insecureup]

Me funciona fatal, pero la idea es muy buena. gracias por el video

[@LaHoraMaker]

¿Te ocurre sobre todo al buscar en español? ¿O con cualquier tipo de búsqueda? ¿Estás probando con el modelo por defecto o con algún otro?

[@luismoroco4972]

Una pregunta @hora maker y acompañantes saben de casualidad de algun modelo para ollama que funcione en vision o captions? he probado llava y no puede con ocr seimpre lee cosas distintas, de hecho inventa aún con temperatura cero. mil gracias pd sugiero preguntar en ingles y pedir traducir el resultado a español, saludos y gracias por tus videos.

[@LaHoraMaker]

De los modelos abiertos que he probado el mejor para este tipo de tareas ha sido Qwen-VL. Ahora bien, no está disponible en Ollama, sino que hay que cargarlo con Transformers. Tienes aquí un notebook de ejemplo: github.com/elsatch/awesome-multimodal-experiments/tree/main/Notes2JSON

[@luismoroco4972]

@@LaHoraMaker mil gracias! Lo probaré

[@Javier_Espinoza]

Muy buen video, y se puede hacer con phi 3?

[@LaHoraMaker]

Hola Javier, Muchas gracias por tu comentario. En principio se podría hacer con cualquiera de los modelos que soporta Ollama, incluido Phi3. Ya nos contarás qué tal los resultados!

[@canaljoseg0172]

🤔 Para que no ocurra ese salto cuando va escribiendo, se coloca el objeto dentro de otra división y mediante JavaScript se hace un desplazamiento inteligente.

[@LaHoraMaker]

Gracias por el comentario Jose. Creo que lo han resuelto en la última release!

[@zuone19]

has probado open devin???

[@LaHoraMaker]

No, de momento sólo he probado Devika y Cosel. Todavía no he encontrado uno que funcione demasiado estable como para contarlo (sin que sea compartir un poco el sufrimiento de hacer que funcione :D )

[@zuone19]

Te preguntaba porque estoy intentando hacer funcionar open Devin con ollama y está siendo interesante por llamarlo de alguna manera jajaja

[@corleone2009]

sigues empecinado con la pandemia y COVID-19.... Te quedaste traumatizado?😷

[@LaHoraMaker]

Bueno, sobre todo lo utilizo para detectar hasta que punto los modelos son capaces de incorporar información específica y de localizar referencias. En muchos casos los modelos más pequeños incorporan alucinaciones en la respuesta. Esto es muy fácil de fechar con este prompt. También como lo llevo utilizando desde el principio, así se puede comparar la salida entre los modelos distintos. ¿Tienes alguna otra sugerencia para preguntar a los distintos modelos? ¡Soy todo oídos!

[@corleone2009]

@@LaHoraMaker Vale, el fundamento que cometas tienes su coherencia. Acabas de cerrarme la boca👍.

[@corleone2009]

@@LaHoraMaker muchísimas gracias por compartir tus conocimientos. 👍

[@LaHoraMaker]

@@corleone2009 Encantado de seguir aprendiendo junto a todos vosotros!

[@Alex29196]

Muchos quedaron afectados, especialmente aquellos que perdieron a sus seres queridos. Continúa utilizando la IA para educarte mejor.