LlamaIndex 101 GRATIS: Tutorial RAG

[@gustavozatorre9556]

Excelentes todos tus vídeos, Me ayudan muchísimo para aprender LA. Muchas Gracias, Felicitaciones!

[@alarcon7a]

Siempre un gusto, no olvides compartir y suscribirte 🚀

[@santiagovelezflorez1634]

Que gran video profe Alarcon, muchas gracias.

[@DanielAcosta-u2y]

Ya me suscribí. Mil gracias por compartir Carlos. Eres admirable. Que talentazo colombiano!!!

[@davidalejandroquinonez4671]

Brutal este tutorial y todo con open source! Muchas gracias por traernos este tipo de contenido, Crack!

[@alarcon7a]

Siempre un placer mi hermano, comparte y suscríbete 💪🏼

[@lionexiot7778]

Que buen video, solo me hubiese gustado ver cuantos tokens consumió Gemini o saber el costo para darte una idea en el próximo video, igual crack

[@CristianOrihuelaTorres]

Que buen video y que fácil lo hiciste. muchas gracias!!!!!, felicidades por tu canal.

[@alarcon7a]

Muchas gracias

[@nahuelzubiarrain7530]

Muchas Gracias Carlos, clarísima tu explicación!!

[@alarcon7a]

Que bueno que te gustó !

[@enriquebruzual1702]

A nice general idea, unfortunately, LLamaindex updated their library and most of the tutorials gave errors, so I ended up spending more time researching and updating my code but using Carlos's outline. I did run it on my computer but it is slow, I have an i7 with 32 GB RAM all solid state drives. This was a good start thank you, Carlos.

[@alarcon7a]

Ohh, that’s awesome, your welcome

[@javiercc2845]

Muy bien explicado lo que haces y porqué. Seguiré revisando tus videos para aprender más. Estaria genial que hicieras un ejemplo con un LLM como Mistral, que es gratuito. De este modo, todo tu ejemplo no tendria coste. Me equivoco?

[@harryhernandez7869]

Muy buen contenido y en español!!! es un sueño hecho realidad :) Mucas gracias, ¿puedes hacer un video con pdfs o matrices de excel?

[@alarcon7a]

Si, lo tengo pensado !

[@javi_v7.0]

Gracias Carlos, ¡saludos!

[@dloperab]

Excelente video Carlos, muchas gracias por estos aportes. Tengo la siguiente por si me ayudas a aclararla: Para armar la BD vectorial con base el transcript se usa el modelo de embeddings de HF que es para inglés, por qué al momento de hacer el query que lo tienes en español el modelo de embeddings que es para inglés funciona bien para poder hacer la búsqueda de similitud en la BD vectorial y poder pasarle ese contexto al LLM? Creía que para estos casos donde se quieren hacer preguntas en español sobre una info que se tiene en inglés tocaba usar un modelo de embeddings que soporte los idiomas que voy a usar. Gracias!

[@alarcon7a]

El modelo de embeddings es multi language ✌️

[@sebastiancabrera917]

Muchas gracias por compartir este contenido! es justo lo que estaba buscando! Conoces otro modelo para generar embeddings que funcione bien en español?

[@alarcon7a]

los de openAI

[@Pablo-Ramirez]

Hola, todos tus videos son muy interesantes. Estoy trabando hace un tiempo con Ollama y modelos como Phi3 y Llama3 y algunos modelos específicos dedicados a Embedding. Lo que no he podido resolver cuando son varios documentos similares por ejemplo procedimientos, como puedo traer el dato correcto siendo tan parecidos. Me trae la información, sin embargo, siempre la mezcla. Saludos y gracias por tu tiempo.

[@alarcon7a]

Hay técnicas como re tanking o parent retrieval que te puede. Ayudar

[@Pablo-Ramirez]

@@alarcon7a muchas gracias por tu ayuda investigaré sobre el tema que me indicas, saludos.

[@AlejoSchmidt-hd9vc]

Hola Carlos, me he encontrado con varios problemas, creo que tienen qu ver con la version de Llama-indez, al momento de instalar las las dependencias saltan errores constantemente y he tenido que remplazar casi todas!, solo pasaba a comentar eso muy buen video, bien informativo! PD(luego de varias pruebas he llegado a la conclusion de que el separadaros e indexdador de texto de Llama utiliza GPT, y sin la api key es imposible ejecutarlo)

[@alarcon7a]

Si, las librerías cambian constantemente y para el primer paso usa API key por default y luego ya cuando se usa emvrddigns de huggingface no es necesario

[@rodrigoacyc]

Hola Carlos, primero que todo te agradezco por los conocimientos entregados! Quería comentarte de un error al traer estas librerías: import chromadb from llama_index.vector_stores import ChromaVectorStore from llama_index.embeddings import HuggingFaceEmbedding from llama_index.storage.storage_context import StorageContext from llama_index.service_context import ServiceContext from llama_index.prompts import PromptTemplate Me está dando un error en la línea: from llama_index.vector_stores import ChromaVectorStore ModuleNotFoundError Traceback (most recent call last) in () 1 import chromadb ----> 2 from llama_index.vector_stores import ChromaVectorStore 3 from llama_index.embeddings import HuggingFaceEmbedding 4 from llama_index.storage.storage_context import StorageContext 5 from llama_index.service_context import ServiceContext ModuleNotFoundError: No module named 'llama_index.vector_stores' --------------------------------------------------------------------------- NOTE: If your import is failing due to a missing package, you can manually install dependencies using either !pip or !apt. Ya instalé llama-index, pero igual resulta el error en google colab. ¿Crees que falte algo que tenga que tener como requisito para ejecutar bien esta librería?

[@alarcon7a]

intenta instalando esta version !pip install -q llama-index==0.9.1 chromadb

[@rodrigoacyc]

@@alarcon7a Gracias Carlos! Adicionalmente a esto actualicé estas librerias por estos módulos que encontré en la documentación oficial de Llama indez para que a otro que le pase lo mismo pueda usarlo: import chromadb from llama_index.vector_stores.chroma import ChromaVectorStore from llama_index.embeddings.huggingface import HuggingFaceEmbedding from llama_index.core.storage.storage_context import StorageContext from llama_index.core.indices.service_context import ServiceContext from llama_index.core import PromptTemplate, Settings Y te agradezco por explicar temas complejos como este de manera tan sencilla, no soy programador pero he aprendido a hacerlo con tus videos. Saludos!

[@rodrigoacyc]

@@alarcon7a Me funcionó! Eres tremendo!

[@pacashanaya]

En realidad se debe usar las 2 API, Gemini no puede procesar ese tipo de base, quien lo procesa es OpenAI, hasta el momento el que da mejores resultados es Ollama 3.1

[@pacashanaya]

Ya realice el Embedding, con una base de datos vectorial con Gemini!, si esta mucho mejor, el procesamiento de los datos es mucho más rápido, pero es otro procedimiento.

[@alarcon7a]

Siiii tengo un tutorial con Ollama pero con langchain que podría interesarte, que tal con los embedings de Google en español ?

[@pacashanaya]

@@alarcon7a , en realidad estoy usando LlamaIndex; lo usé con phi3, Ollama3.1, y ahora con Gema 1.5 Pro experimental, en este último, los resultados son otros nivel.

[@pacashanaya]

​@@alarcon7a, te comento hay un embedding que me recomendaron y va de perlas, sobre todo que es local; ahora para que leas la base vectorial , usa la api de geminis experimental, con tu interfaz con streamlit y tendrás un RAG de lujo.

[@gonzalosurribassayago4116]

Hola me esta dando este error cannot import name 'OpenAI' from 'llama_index.llms' (unknown location)

[@alarcon7a]

prueba con from llama_index.llms.openai import OpenAI

[@gonzalosurribassayago4116]

Hola gracias las otras tambien cambiaron en la nueva version lo dejo por si le pasa a alguien from llama_index.llms.openai import OpenAI from llama_index.core import VectorStoreIndex, SimpleDirectoryReader from llama_index.core.response.notebook_utils import display_response

[@sergiojaner7903]

Una consulta, llamaindex necesita de una api key de openAI con saldo existente para poder utilizarse. Entonces no comprendo cuando dicen que es gratuito el uso con llamaindex?

[@alarcon7a]

Hola casi es, mira el video que subí hoy No te Quedes Atrás: Guía Completa para Implementar Llama 3 y Phi 3 en Tu PC ¡GRATIS! kzbin.info/www/bejne/maXLhKx6e7R8l8k puedes usar Ollama desde llama index

[@MarioPerez-oc7fd]

Hola Carlos, excelente video, me ha ayudado mucho. En el caso de querer utilizar llm para hacer consultas a base de datos con lenguaje natural, también podría utilizar llamaindex? Por ejemplo si ya tengo una colección de ventas, tendría que vectorizarla a través de embedding para poder hacerle consultas?

[@alarcon7a]

Así es, los sources de vuelven sql y puedes hacerlo… puedo sacar un tutorial de ello 👌

[@MarioPerez-oc7fd]

@@alarcon7a Sería buenísimo! Ya que no he encontrado. Y si lo pudieras hacer con MongoDb 🤯

[@netgame365]

excelente video Carlos, te sugiero borrar la api key de openai, en el minuto 14:52 se ve. Saludos y por mas videos!

[@alarcon7a]

Están eliminadas, muchas gracias !

[@PatricioBarros]

Excelente tutorial, quedo con la duda sobre la privacidad de la información ya que el modelo de todos modos va a Internet. Consulta, los embeddings se podrían utilizar para imágenes?, digamos para reconocimiento facial o de objetos?

[@alarcon7a]

Depende de cada llm que uses y las políticas de manejo de datos de estos, y si los modelos multimodales reconocen imágenes

[@CyberIngeniero]

Hola Carlos, buen videos! Tengo una pregunta: Que extensión utilizas en Chrome para gestionar los api keys? Cuando vas a buscar las Api Keys abres un cuadro de busqueda... Gracias.

[@alarcon7a]

Bitwarden, es muy buena

[@alejoschmidt3429]

Hola Carlos, tengo una consulta, como puedo revisar el contexto que le voy a mandar al Llm, estoy trabajando con un archivo grande y no me da respuestas muy precisas, estoy intentando detectar cual es el problema para poder ajustarlo

[@alarcon7a]

Puede ser como se están haciendo los chunks del texto no sea la mejor manera, se pueden evaluar otros tamaños u otros formatos

[@InmaculadaGalvezLopez]

Hola! Cómo se integraría en este caso LLAMA2 como LLM?

[@alarcon7a]

Debes utilizar el modelo con la integración desde huggingface o sobre un servicios cloud con llama index, podría sacar un video de esto

[@InmaculadaGalvezLopez]

@@alarcon7a Estaría genial, gracias!

[@arman77mx]

Ya no funciona su runbook de colab pero ya lo arregle :)

[@alarcon7a]

Cuál es el error, para actualizarlo ?

[@LeOnArg85]

Pero por detrás siempre hay un costo. Es posible tener todo el potencial local sin conectarse a Gemini u Openai?

[@alarcon7a]

si, te invito a ver este video! kzbin.info/www/bejne/maXLhKx6e7R8l8k

[@claudioguendelman]

De que manera se puede hacer sin google ni apis si no 100% Local ? gracias

[@alarcon7a]

Podrías usar Ollama y llama 3.1, acá como usarlo y para el resto solo cambia el conector del LLM a Ollama kzbin.info/www/bejne/maXLhKx6e7R8l8ksi=yiLnLXU5esxsmgvs

[@rodolfolopezp]

No pude pasar del segundo codigo. HIce lo que está en los comentarios y no me dejo. puros errores. Las librerias han cambiado

[@alarcon7a]

Lo reviso y actualizo, usaste el notebook de la descripción ?

[@rodolfolopezp]

@@alarcon7a Si. Hice las modificaciones de los comentarios pero nada. Gracias. Espero ansioso tu actualización 👌

[@eliasfarias3670]

Muy buenoooo, una consulta yo estuve armando un agente que quería me conteste de un libro, utilizaba Chromadb y el embedding de Google. Y me costó mucho que me responda correctamente, cuando la información es de un libro en PDF habría que realizarle algún preproceso? Tipo para ordenar mejor el texto?

[@alarcon7a]

Así es, podemos cortar por capítulo o por markdown en vez de por cantidad de tokens

[@eliasfarias3670]

@@alarcon7a gracias CRACK das algún curso langchain o parecido?

[@alarcon7a]

@@eliasfarias3670 tenemos un curso en platzi de manejo de documentos con langchain

[@eliasfarias3670]

@@alarcon7a aaah me pareció haberte visto en alguna publicidad de platzi ajajja

[@corleone2009]

para local y con UI, sabes si hay algo?

[@alarcon7a]

Si, mira este video No te Quedes Atrás: Guía Completa para Implementar Llama 3 y Phi 3 en Tu PC ¡GRATIS! kzbin.info/www/bejne/maXLhKx6e7R8l8k

[@garyjo3229]

Llama index es ollama?

[@alarcon7a]

No, Ollama es para correr modelos open en local y escalarlo

[@LIGTH-BIT]

la clave de openIA es necesaria que sea de paga?

[@alarcon7a]

Si, pero estoy sacando un video que no lo requiere

[@LIGTH-BIT]

@@alarcon7a gracias, lo esperaré con ansias

[@xmagcx1]

pense que era una iguana 😂

[@waltergonzalez7856]

Hola Carlos, puede ser que llama_index.llms no este soporte 'Gemini'? porque me arroja el siguiente error: ImportError: cannot import name 'Gemini' from 'llama_index.llms' (/usr/local/lib/python3.10/dist-packages/llama_index/llms/__init__.py)

[@alarcon7a]

Prueba con esto %pip install llama-index-llms-gemini tambien me puedes mencionar la version de llama index que usas