LangChain y Ollama para interactuar con tus documentos ¡RAG GRATIS!

[@EnzoFrancisco-gf5zg]

Pucha eres genial.

[@alarcon7a]

Muchísimas gracias por el apoyo

[@nahuelzubiarrain7530]

Muchas gracias! Muy buen video y muy útil. Sos un grande Carlos 🙌🏼

[@javaboy6581]

Qué bueno Carlos, cumpliste y sacaste el vídeo! Estoy deseando probarlo. Bendiciones y existos asegurados para tu canal

[@alarcon7a]

Muchas gracias, 🚀

[@juandavidfrancofranco641]

Fascinante, hace meses había pensado que en algun momento iba aparecer algo así. Gracias totales.

[@alarcon7a]

El futuro es ahora hehe .. no olvides compartir

[@guus7893]

Excelente Carlos! Además de especializarte en estas habilidades explicas muy bien!

[@alarcon7a]

Muchas gracias !!!

[@CarlosOrzabal]

*Excelente el trabajo que estás haciendo Carlos.* Se nota el alto conocimiento que tenés. Aprovecho para hacerte algunas preguntas. Estuve mirando tu playlist pero no encontré una guía para comenzar desde cero con esto, porque me interesa el tema. - Podrías decirme los videos de tu canal aconsejables para comenzar? - Para este proyectos es necesario tener GPU o con CPU también se podría hacer (no importa que demore)? - Y esto tiene que ver con la pregunta anterior, instalar este proyecto en un VPS normal, sin GPU, sería factible. *Felicitaciones nuevamente por el gran trabajo de docencia que estás haciendo.* Nuevo suscriptor. Saludos.

[@alarcon7a]

Muchas gracias !!! Espero poder sacar un curso completo pronto, con CPU este proyecto es posible🚀

[@roberth.mendoza]

Excelente video y gracias por compartir con la comunidad. Muchos exitos!!!

[@alarcon7a]

Siempre un gusto, muchas gracias

[@lautaroballesteros3763]

Increible video Carlos !!! , justo lo que necesitaba para mi proyecto. Existe alguna referencia o documentacion para informarme sobre la arquitectura que utilizas.

[@alarcon7a]

La arquitectura la explico en el video, recuerda que los modelos son de código abierto, puedes ver la arquitectura dentro de ellos…. Además adjunto documentación en la descripción

[@thinayushiko9049]

Gran video! gracias. Ahora en mi trabajo esta empezando a sonar mucho este tema de LLM, estoy aprendiendo para poder entrar a ese proyecto, pero en este caso hablan de bases de datos de grafos, especificamente neo4J, todos los videos y cursos q he visto han sido con bases de datos vectoriales, archivos txt y pdf, asi que estoy algo perdida de como esto seria hablando de bases de datos de grafos. Por favor si puedes hacer videos sobre esto seria lo maximo! Gracias.

[@alarcon7a]

Si los hay, buena idea, haré un tutorial de ello 👌

[@thecarlostheory]

Muchísimas gracias. Funciona! Mira que me he mirado cantidad de tutoriales de este tipo... ninguno funcionaba o no era local, necesitabas internet... Muchas gracias por compartir tu conocimiento. Eso sí... a la hora de hacer el RAG de un dcumento se queda la info guarada, incluso después de haber finalizado la ejecución del programa... Yo lo he solucionado del siguiente modo: Cada vez que termino la sesión, borro todos los archivos de las carpetas _pycache_ y chroma_db_dir... No sé si hago lo correcto, pero el caso es que funciona.

[@alarcon7a]

Si borras el chroma tienes que volver a hacer embedings, la idea es que siempre persistan

[@thecarlostheory]

@@alarcon7a pero no tendría sentido borrarlos si el archivo pdf es distinto al anterior?

[@alarcon7a]

@@thecarlostheory si no los vas a requerir más, si, los puedes borrar

[@gustavomarquez2269]

Mucha gracias, muy valiosa informacion !

[@alarcon7a]

Gracias por el apoyo

[@giocrisrai42]

Excelente muchas gracias por compartir este tipo de contenido

[@alarcon7a]

Siempre un gusto

[@Pekarnick]

Excelente explicación detallada, 24 minutos que bien valen la pena. Muchísimas gracias!!! Sería muy complicado agregar grado para que sea utilizado desde un servidor central, en digamos una empresa, a fin de ser utilizado por varias terminales?

[@alarcon7a]

Muchas gracias … El servidor debe tener habilitado el puerto de salida y solo con eso ya es el mismo proceso 🔥

[@ginomenor4124]

Me encanta el video y como explicas. Muchísimas gracias. Quería hacer una pregunta: Crees que el modelo podría generar documentos de diferentes tipos, en base a los datos que guardemos en chroma? Es decir, si le alimentamos de muchos tipos de documentos y los guarda, luego te podría generar documentos precisos? aprendería? Eso persistiria mientras dejemos los archivos, no?

[@alarcon7a]

Así es, aunque es recomendable ahí trabajar colecciones distintas

[@Hector.Pulido]

Me sirvió perfecto, solo le hice un par de cambios y ya lo tuve en prod en 2 dias 💪

[@alarcon7a]

Esoooo 🔥🔥🔥

[@Stefan-Novikov-RB]

alguna idea de como hacer una api con la parte del retriever, prompt y respuesta? para hacerle peticiones desde un chatbot

[@Hector.Pulido]

@@Stefan-Novikov-RB fast API y listo

[@abelardocoloradodiaz4115]

Hola, que servicio usaste para desplegar a producción y que tan rápidas son las respuestas?

[@Hector.Pulido]

@@abelardocoloradodiaz4115 un ec2 y pa alante, habian formas mas complejas, pero eso fue lo mas rapido

[@Vic_op]

Muy bueno Carlos. Muchas gracias.

[@gustavoadolfolirasalazar580]

mucha gracias por el tutorial buenísimo.

[@alarcon7a]

Que bueno que te sea útil

[@danielmora3003]

Que genial este tipo de Videos ! 🤗

[@alarcon7a]

Espero les puedan sacar provecho

[@felp070]

Muchas gracias, buen video nuevo sub me sirve esto para mi proyecto

[@alarcon7a]

Genial !!! 🚀

[@javaboy6581]

Hola Carlos, vas a hacer alguna actualización a este magnifico vídeo! Primero que todo, Feliz Año! Quedó desactualizado el local_rag.ipynb lanza errores de deprecation. Un abrazo! I love RAG

[@alarcon7a]

Le actualizare, muchas gracias

[@vitinett]

Muy buen video, lo hubieras podido hacer con llamaindex?? Que diferencias tiene usar llamaindex o langchain

[@alarcon7a]

Llama index está más dirigido a rag, y si pide hacerlo con llama index también

[@juandiegomatute4333]

Hola, pregunta esto se podria llevar a un ambiente web? Donde los usuarios suban su pdf y pregunten informacion o algo similar? Lo pregunto porque se trabaja con Ollama local entonces me gustaria saber si exite una manera de llevarlo a un ambiente mas productivo

[@alarcon7a]

Así es , hay servicios de Google o azure o cualquier nube, solo debes llevar el mismo código a estas infraestructuras y dar acceso vía API o algo por el estilo

[@jorgesalasbonilla9957]

Estaba leyendo en otra conversación sobre la base de datos que genera Chroma. Siginifica que conforme la AI vaya cargando más PDFs, su acervo de información es mayor? Otra pregunta: Cuál es el tamaño adecuado para un archivo PDF, tanto en megas como en cantidad de páginas? Saludos desde Costa Rica

[@alarcon7a]

Así es, entre más información a la base vectorial más robusto, y no importa tanto el tamaño de los pdf sino el tamaño de las ventanas de contexto

[@Alejandro_Rosa]

Hola profe 🙏🏻

[@alarcon7a]

Hello !!!

estoy trancado ern eta parte, ya que no me carga el enbeding hay que tener algo previo instalado o accesible?? embed_model = FastEmbedEmbeddings(model_name="sentence-transformers/all-MiniLM-L6-v2")

[@alarcon7a]

Debería funcionar, el descarga automáticamente el embedding, que error te sale ?

@@alarcon7a reice todo el entorno y me corrio bien, gracias por las rapidas respuestas. A veces nada es mejor que reiniciar y verlo de a poco

[@eduardogamarra9070]

muy bueno, y eso lo podrias conectar a un chatbot para que lo puedan usar otras personas?

[@alarcon7a]

Podrías dejarlo en algún servicio cloud y acceder como una API rest

[@ggmtddbo]

Gracias!

[@alarcon7a]

Un gusto

[@gerardoesquivia]

Muchas gracias

[@halexysvelasques7123]

Estaba siguiendo el tutorial y al momento de hacer el vectostore con chromadb.from_documents me da un error "AttributeError: 'NoneType' object has no attribute 'embed'", lo mismo pasa en el notebook de colab

[@alarcon7a]

Ihhh parece que actualizaron alguna librería… lo voy a validar

[@JohnMarin001]

Se soluciona agregando esta linea " embed_model._model = embed_model.model_dump().get("_model") " despues de declarar el modelo.

[@alarcon7a]

@@JohnMarin001 lo voy a subir al repo, o tú pides soclitisr el cambio también

[@mariacamilaortizcastaneda8435]

@@JohnMarin001 Confirmo que funciona, muchas gracias!

[@JohnMarin001]

@@alarcon7a lo haré, gracias por la información. Excelente video. 👌

[@JuankM1050]

Perdon mi ignorancia pero esto esta corriendo totalmente de forma local ? Recuerdo ver video sobre como crear los embeddings y almacenarlos por ejemplo pinecone y todo eso tenia un costo en plata y computacional. o hay que tener un pc de la nasa para hacer tales cosas. ?

[@alarcon7a]

En este punto los embedddings quedan almacenados en local en el ditectirio de Chroma, no hay que tener tan buena maquina para ello

[@gonzaloosuna]

Carlos sugiero hacer un video sobre las caracteristicas recomendadas de una computadora para desarrollar este tipo de aplicaciones. Gracias por tus aportaciones.

[@alarcon7a]

Tienes razon, hay que resolver muchas dudas con ese tema

[@EveFelizzola]

De acuerdo!

[@felp070]

Puedes hacer un tutorial sobre schema Json y function calling

[@alarcon7a]

Seguro 🚀

[@pabloartero1155]

Qué hardware necesito para hacer esto?

[@alarcon7a]

Con una tarjeta de 6GB de video corre bien … con otro hardware menor corre bien pero tarda un poco

[@guus7893]

@@alarcon7a sería interesante conocer el hardware para el modelo de llama3 70b de parametros, lo soportará una placa de 8GB? o tal vez se necesitan 2 o 3? Por lo que he investigado llama3 8b seria el equivalente a gpt-3.5-turbo y llama3 70b el equivalente a gpt-4-turbo y ahí está la "papa", poder tener un modelo con la capacidad de gpt-4-turbo de forma gratuita (asumiendo el costo de mantenimiento de hardware) ya que lo he probado con un contrato de 8 paginas y 20 preguntas y ha consumido 3 dolares, mientras que el mismo experimento pero con gpt-3.5-turbo consumio 8 centavos de dolar (todo utilizando la API de OpenAI). La diferencia en las respuestas es notable entre un modelo y otro, vale la pena pero es muy costoso, por eso seria interesante conocer el hardware requerido para llama3 70b de parametros.

[@Pablo-Ramirez]

Hola muchas gracias por tu video. Intente replicar tu Código en Colab pero me da un error, que permisos tengo que tener para poder ejecutar desde mi local: ConnectionRefusedError: [Errno 111] Connection refused The above exception was the direct cause of the following exception: NewConnectionError Traceback (most recent call last) NewConnectionError: : Failed to establish a new connection: [Errno 111] Connection refused

[@alarcon7a]

Antes tienes que descargar y subir el servicio de Ollama, acá te enseño cómo kzbin.info/www/bejne/maXLhKx6e7R8l8ksi=13a6J4cLw4b8kT7b

[@Pablo-Ramirez]

@@alarcon7a Hola gracias por tu respuesta, si ya tengo corriendo Ollama locamente y al llamar al puerto indica que esta activa . El problema es con Google Colab que no ve el sitio local. Seguí las instrucciones de Colaboración y no hay caso

[@alarcon7a]

@@Pablo-Ramirez ohhh si, para esto hay que correrlo en local y no desde un servicio cloud cómo Google colab

[@Pablo-Ramirez]

@@alarcon7a sabes te agradezco mucho tus respuestas. En ese caso puedo puedo ejecutar el local_rag.ipynb desde un Visual Studio Code? Que requisitos requiero. Me interesa mucho este tema. Por eso te molesto tanto. Gracias.

[@alarcon7a]

@@Pablo-Ramirez si, con una gráfica de 4 GB funciona

[@cristiancamilogomezgalvis2070]

Recomendación, el volumen de la voz esta un poco baja.

[@alarcon7a]

Muchas gracias, busco corregirlo 👍

[@creed4788]

¿Esto sirve para windows?

[@alarcon7a]

Si, en verdad solo hace falta Python y Ollama en Windows que lo explique en un video anterior

[@jjen9595]

Una pregunta, esto funciona con imagenes? Por ejemplo subes un pdf de perros, y le pregunto, que tipo de perro son pequeños, entonces el llm me responde con un texto y una imagen indicando el perro, claro, la informacion esta en el pdf. Lo pregunto antes que te vallas jaja

[@alarcon7a]

El ejemplo que hice solo analiza el texto, pero es posible hacer una extracción de la descripción de la imagen con IA

[@jjen9595]

​@@alarcon7ammmm sí, es para un trabajo, pero lo veo un poco complicado, mejor empiezo por tu vídeo y de ahí veo jaja, encontré un vídeo de lo que quiero, pero está en inglés y es como es indio no funciona bien la tradición y peor aún yo que no se mucho, mejor empiezo por abajo xd

[@cosmicfissure924]

Hable de Chat whit RTX

[@alarcon7a]

Interesante!!

[@juanhervas8055]

Uff demasiado complicado

[@alarcon7a]

Se vienen unos tutoriales desde cero

[@DennyRosales]

Yo logré correr el script, hubo algunos cambios en las librerías y por eso al principio cuesta un poco