MEJORO mi EMPRESA usando IA: Chatbots, LLM, RAG y mucho más!

[@ruben6647]

Llevo todo lo que va de año desarrollando una aplicación LLM con OpenAI y un RAG específico para la empresa en la que trabajo. La aplicación es multiusuario y multichat (se pueden crear diversos chats con sus respectivos RAG) y este vídeo me ha parecido muy interesante. Como dice Nate, hay mucho más que se puede hacer y a medida que pase el tiempo y se vaya innovando, más se podrá hacer. Un concepto muy interesante es ¿cómo de preciso es mi modelo? Claro, no puedes hacer tests unitarios porque no sabes qué te va a contestar la IA de entrada, así que existen componentes de evaluación y, como si fuera un examen, te da una puntuación de la respuesta entre 0 y 1. Una librería muy famosa que hace esto es RAGAS. Podría extenderme más pero nadie va a leer este comentario así que de momento lo dejo aquí xD

[@koz159]

Dale

[@djkaruyt]

Yo tambien intente hacer un RAG para una empresa que estuve de prácticas, utilizando primero n8n y luego pasando a flowise y experimentando con langflow, mis problemas fueron algunos de los que se mencionan en el video, por ejemplo, si le preguntas que te diga los presupuestos del año 2016 al 2019, el rag no sabe que tiene que consultar los años 2016, 2017 , 2018 y 2019. Con estas herramientas me senti un poco limitado y no puede hacer que funcionara bien, tu como has hecho el rag, con alguna plataforma de estas o programandolo con alguna libreria como LangChain? Gracias!

[@ruben6647]

​@@djkaruyt Pensaba que como este canal suele tener un montón de comentarios, el mío quedaría enterrado y no lo vería nadie xD. Voy a intentar explayarme, ladrillo va. Si los presupuestos que mencionas tiene que calcularlos el LLM (lo ignoro) date por muerto porque al menos GPT es muy malo con los números. Esto es debido a que no utiliza lógica determinista si no probabilística (lo que menciona Nate con las distancias en las bases de datos vectoriales). Al final en esto, como en cualquier cosa relacionada con ciencia de datos, y esto al fin y al cabo lo es, lo que importa es la calidad de los datos y los metadatos frente a la cantidad. De nada vale meterle un montón de textos y PDFs si la mayoría es broza. Uno puede pensar que cuanto más datos le metas a una red neuronal mejor, pero no es tan así. Los datos deben ser trascendentes. Mi aplicación era para una empresa del sector médico. Efectivamente, como dices la he desarrollado con django y langchain usando OpenAI y ChromaDB pero la idea es que esas opciones se puedan cambiar en el futuro, usando otros modelos y bases de datos. Como hay diversas dolencias, la idea es tener varios chats, cada uno especializado en una cosa (asma, artritis, etc). Para ello existen las guías medicas oficiales que están muy bien como inicio pero si se quiere cumplimentar más se tira por ejemplo de pubmed. Luego además nosotros ideamos una cosa que llamamos Q&A de refuerzo (preguntas y respuestas). Esto no es un invento nuestro, hay una aplicación para chats llamada chatbase que usa OpenAI que tiene esa opción. Q&A consiste básicamente en meter preguntas o consultas comunes sobre la dolencia o asunto y sus respuestas correctas. Esto evidentemente lo hace un equipo de médicos, no yo. Cómo sabes cuales son las preguntas más comunes? Bueno, aparte de las que puedas deducir tú, creas un log o historial en django con los registros de las conversaciones del chat y así puedes saber si hay alguna pregunta que se repite mucho y cuya respuesta pueda estar no del todo bien. Este Q&A no se puede meter como embedding porque los embeddings se trocean y ocurre entonces que la BD no coge todo el registro si no, solo un trozo. O peor, si el registro es corto coge además un fragmento del siguiente registro. Al hacer esto, y lo tenemos comprobado, se medio inventa respuestas a pesar de que tenemos el parámetro temperature a 0. Entonces la solución es meter tú los registros en la chromaDB, no dejar que lo haga langchain. No es complicado, es solo bajar un nivel en el desarrollo y hacer las queries "a mano". Claro, esto implica que el prompt que se manda a GPT debe ser editado a mano también. De nuevo, no es un problema. Aparte de esto, se puede meter memoria de conversación para que tu app "recuerde" el contexto. Esto no es más que registros en la BD de nuevo, de distinto tipo a las otras dos. Langchain se encarga de ir metiendo los registros de memoria. Este punto en mi app aun no está fino. Lo que decía del RAGAS. RAGAS es una librería en Python (creo que en JS también existe) que "evalúa" preguntas y respuestas con una puntuación de 0 a 1 en base a ciertos parámetros (contexto, documentación, puntuación global...). Entonces, tú puedes meter un excel con n preguntas y ver los resultados. Esta es una tarea que puede tardar un rato en función del número de preguntas, así que sugiero meter Celery de por medio para que vaya en paraalelo. Si por ejemplo le pregunto "En qué franja de edad es adecuado aplicar la vacuna contra la rubeola", debo darle la respuesta correcta (me la invento porque no me la sé, la he buscado en Google) "A partir de los 12 meses de edad". Metes estas dos cosas en un fila de Excel con dos columnas "Pregunta" y "Respuesta", por ejemplo. Así con una muestra de preguntas que veas tú, como si fuera un examen. Esto se manda a GPT o al modelo de turno y después RAGAS evalúa y pone una puntuación, digamos 0.9. Entonces sabes que está bien. Si da 0 o NaN, ¡malooo!

[@ruben6647]

​@@djkaruyt Sigo en otro comentario porque tenía miedo de que petara la caja. Otra cosa a tener en cuenta es el treshold. El treshold es un número de nuevo entre 0 y 1 que digamos hace de barrera de entrada al RAG. Me explico. La consulta al RAG al fin y al cabo, como bien dice Nate en el vídeo, no es más que una búsqueda semántica. Esto es una distancia del coseno entre dos vectores: tu pregunta y la posible respuesta que haya en la BD. Una distancia del coseno entre dos vectores es algo muy habitual cuando se buscan cosas "relacionadas" o "parecidas". Si la distancia es 0, entonces es el mismo vector, es decir, ambos registros coinciden tal cual. Si la distancia es 1, entonces son diametralmente opuestos y se parecen lo que un huevo a una castaña. Ahora bien, como para el humano puede resultar contraintuitivo que 0 sea clavado y 1 sea totalmente distinto, se pone luego del revés. El 0 pasa a ser 1 y viceversa y así puedes verlo como un porcentaje. En resumen: que si al hacer una pregunta y consultar en tu BD vectorial, te devuelve un treshold de, digamos, 0.8 es que lo que preguntaste VS la respuesta que se ha recogido de la BD vectorial se "parecen" un 80%. Es decir, que podemos pensar que los datos que hemos sacado son pertinentes con nuestra consulta. Salvo que le digas lo contrario, la base de datos vectorial siempre te va a dar un resultado, tenga este una relevancia de 0.8 como el ejmplo anterior o tenga una relevancia de 0.2. Queremos meter en nuestro prompt un dato que tiene una relevancia de solo un 20%? Bueno, eso depende de lo que quieras en tu modelo pero usualmente diría que no. Es aquí donde podemos limitar el treshold en la consulta. Decirle a nuestra app que si el resultado del RAG tiene un trashold menor a 0.5, por ejemplo, que ni se moleste en insertarlo en el prompt porque entendemos que es un dato de calidad mal. Espero haberme explicado. Hay más desafíos que se pueden hacer y que me gustaría meter en mi trabajo en el futuro. Ejemplos: - Bases de datos de grafos, como dice Nate. - Traducción: esto es un desafío que tiene varias posibles soluciones. Imagínate en el caso de Nate, que ha metido todos los datos en castellano. Qué pasa si alguien pregunta en inglés. Ufff, no quiero enrollarme mucho más pero curiosamente ChromaDB responde bastante bien a preguntas de según qué idiomas dando la referencia EN ESPAÑOL correctamente si tienes treshold bajo. Es decir, si le pregunto sobre la malaria en alemán, casi siempre el RAG devuelve el fragmento de la información sobre la malaria de manera correcta. Pero claro, el prompt irá en español en parte, cómo responderá GPT? En español o en alemán? Hay formas de solventar esto pero ya bastante me estoy enrollando. - Conseguir info en el RAG con imágenes. Se puede, pondría un enlace a un artículo que lo explica pero no sé si se permite meter enlaces en este canal.

[@ruben6647]

@@koz159 Tienes la respuesta un poco más abajo, jefe. Siento la extensión pero esto tiene más detalles de lo que parece.

[@joseportillo7593]

A pesar de haber tenido qué dejar la carrera de ingeniería en software por problemas externos, tener este tipo de vídeos tan informativos me anima a no abandonar ese aprendizaje y quedar totalmente obsoleto. Gracias, Nate, por regresarme el amor por la tecnología que poco a poco iba perdiendo.

[@Fcaliero]

Siempre estuvo a tu lado, nunca te abandonó. Tú lo conseguiste solo. Dar las gracias está sobrevalorado.

[@alejandrocr9293]

¿quién dice que sólo en la universidad te haces ingeniero? Hay un montón de caminos hacia la misma meta 😉

[@HeraclesGomez]

Campeón, no te rindas. Retoma la carrera y ve de a poco. No tienes que hacer todo junto, una materia o dos a la vez❤

[@Iván-y5z7g]

Podrías explicarme porfavor más o menos de que va la ingeniería en software, al menos lo que sepas. Sería una gran ayuda porque en un futuro tengo pensado hacerla. Crack👍

[@joseportillo7593]

@@Iván-y5z7g claro que sí, hermano, yo estudié en México, no sé si haya alguna diferencia con otros países, pero aquí es un puesto que se deriva en: desarrollo de software con programación, documentación y planeación, funcionamiento óptimo de equipos que trabajen en el área, así también depuración y optimización de código. Todas estas habilidades las puedes llevar a cualquier área de la tecnología como programación de hardware, fabricación del mismo, bases de datos, videojuegos, inteligencia artificial, mantenimiento de software, programación de páginas web, etcétera etcétera etcétera. De verdad es muuuuy amplio si lo estás dudando, la verdad te lo recomiendo muchísimo, es una carrera que vale totalmente la pena. Mucha suerte!

[@DannyHuang-ov1sm]

"entender cómo funcionan las cosas es uno de los grandes placeres de la vida" Nunca me sentí más identificado

[@dersanz]

X2

[@JuanSagua]

Hola Nate! Soy Game Economy Designer, algunos amigos mios trabajaron en Asphalt 9! Sigo tu canal desde hace muchos años y me parece necesario resaltar la excelencia en la calidad del trabajo. Es increíble la combinación entre información, entretenimiento, calidad de producción, estrategias de marketing y estrategias de negocios todo integrado en una entrega audiovisual. Saludos desde Argentina 💪🏻

[@ai.charly]

La IA ha cambiado mi vida. Me la paso automatizando cosas y aprenderlo me ha dado excelentes oportunidades. Yo considero que aprender sobre inteligencia artificial es importante para prepararse para el futuro, no necesariamente para desarrollar apps con IA sino porque muy probablemente tu trabajo va a migrar a un esquema que use IA.

[@ai.charly]

Por cierto, en mi trabajo ahorro muchas horas simplemente por usar IAs.

[@leag555]

Comparte links de tutoriales y/o información sobre las herramientas que usas... Te lo agradecería mucho ✌️. Saludos.

[@JuanValadez-w8d]

Nichonauta

[@perezozko]

Las IAs no van a remplazar a los letrados en cuanto a administracion de informacion digital en la mayoria de niveles, pero al final seran los usuarios como tu quienes van a prevalecer porque sinceramente es asi tal cual las IAs, son nuevas herramientras que se deben entender y comprender para sacarles el maximo provecho en cuanto a la creación de algoritmos variados, o en otras palabras Te volveras el tecnico de una IAs, en el mejor te mantendran el sueldo (en relacion al paso del tiempo) o simple y llanamente la industria te consumira y te pagaran 1/4 menos que antes, pero con la inflacion y la extrema competencia digna de la india, ni lo notaran

[@Pablo---2005]

Si tu trabajo puede migrar a un "esquema que use IA", eres totalmente reemplazable.

[@tomaspetcre]

Finalmente, podré tener al clip de Windows como mi amigo 24/7

[@medicenpaniagua]

xd

[@azhuransmx126]

El asistente demente de 8B, está bien pero cuando se pueda ejecutar un modelo de entre 100 y 236B en Local como el Deepseek o mejor el 405B ahí sí que hablaremos de un Asistente poderoso.

[@LEGNACRA]

el video tiene un minuto de subido........ y hay quienescomentan que el video esta excelente y dura 41 minutos jajajajajajajajajajajajajajaja LA LOCURA

[@qVision_dev]

🧙‍♂️Magic 🪄🪄

[@El_Domin]

la IA les hizo un resumen de 30 segundos

[@nicolasenriquez2752]

Reptilianos

[@awors16]

Es gente que está a otro nivel de conciencia, no lograríamos entenderlos

[@Lara_9632]

El pana cree que la hora que le aparece a el publicado es la hora definitiva en todo el mundo jajajaua

[@josegastoncirvini1444]

Hace ya un mes, o quizá más, utilizo Llama 8B en mi PC como RAG desde Pinokio. Le he insertado papers, documentos en pdf, libros enteros...la verdad el trabajo lo hace bastante bien, no es como el ChatGPT de pago, que su nivel es altísimo pero, hoy 2024, que podamos hacer esto en nuestros PC es impresionante. Hoy no veo mi presente sin las IA como acompañante en el día a día de mi profesion

[@robinxd6491]

Mas detalles por fabor Y como puedo hacer lo mismo 🙏🥺

[@MegaOjetemoreno]

Enhorabuena Nate y equipo. Como docente, tengo que aplaudir tu capacidad didáctica. Este video es un ejercicio de docencia brutal. Muchas gracias por este material.

[@Eltitosam]

Yo me he montado lo mejor del mundo para mis clases con las IAS he conseguido todo en local que el audio de todas mis clases se transcriba y que luego otra me las resuma y me de datos claves de dudas que yo tenga sobre esos documentos. Increíble lo útil que puede ser una IA si sabes curártela un poco.

[@grilloazul1936]

Para clases que tu impartes o que a ti te Dan y las grabas?

[@Eltitosam]

@@grilloazul1936 que me dan. Mantengo un orden en todo el proceso y tengo todas mis clases en archivos resumidas etc por si necesito en algún momento mirar cualquier cosa o incluso preguntar alguna duda sobre alguna clase.

[@Unay.inv1]

Puedes pasar las IAs o tu mismo las entrenaste?

[@Eltitosam]

@@Unay.inv1 lo he planteado con modelos open source. Para entrenar tú mismo un modelo de 0 se necesita de una estructura y un nivel de datos con los que entrenarla bastante tocha si quieres buenos resultados. Los modelos que uso son: para transcribir uso a whisper de open AI y para resumir dichos archivos transcritos uso a llama 3.1 con una adaptación, que hay bastantes que te permiten pasarle archivos y cargarlos en su “memoria” como bien explica Nate en su vídeo. Hay algunos tutoriales en KZbin sobre hacer esto pero tengo que decir que la gran mayoría están incompletos y falta alguna herramienta que al informarte un poco acabas sabiendo que necesitas para esto mismo. Pero te invito a explorar un poco todo esto. Busca whisper en local y hay tutoriales. Te recomiendo los que están subidos de habla inglesa ( suelen ser más completos ) y luego buscar un poco e informarse y saber de la cmd leyendo lo que te pide a cada momento bien porque como te digo están casi siempre incompletos los vídeos. Al menos los que vi yo. Te deseo suerte pero no es tan complicado de hacer realmente.

[@AndresRb02]

​@@Eltitosamme interesaría saber con cual IA resumes las clases😊

[@MarcoLotoAstral]

me gusta que te renueves con este tipo de videos, sigue aprendiendo y enseñando que se te da muy bien explicar.

[@juangomez2014]

8gb de vram no es aconsejable para machine learning. Mínimo 16gb vram. Por eso existe la incomprendida 4060ti con 16gb vram. Nunca fue una tarjeta para gaming, sino una gran ayuda para los interesados en machine learning que cuentan con un presupuesto más ajustado.

[@TheOneOverTheMood]

Es hermoso ver como el canal cambio mas a cosas asi, me encanto el contenido ojala vengan mas cosas de este tipo. Gracias parcero.

[@FranCuri7]

Qué locura de video, mucha gracias por compartir todo este proceso Nate

[@geovanyuribeaguirre8776]

Que gran video. Solamente un aporte Nate, no es "cuantificación", es "cuantización", que es el proceso en el cual un rango continuo de valores se divide en un número finito de niveles discretos.

[@n3lsonf4]

(edit) está bien es cuantizacion... pero van de un valor discreto de n bits a otro discreto de m bits. Nada de valores continuos, eso se ve en la cuantificación de señales continuas a discretas

[@Napuh]

Es cuantización, lo que pasa que Nate ha explicado el concepto mal, no pasamos de valores continuos a discretos, sino de valores continuos a valores continuos con menor precisión en bits

[@JordiSantos79]

Nate debería tener un canal de informática en todas las plataformas

[@ProySecRedes]

Gracias por el excelente video, voy a profundizar mas dado que soy ingeniero en sistemas con maestria en ciberseguridad, y quiero empezar a crear proyectos propios de IA con enfoque en ciberseguridad. Muchas gracias

[@TrynRogue]

Estaría muy bueno una segunda parte explicando como se conecta esto con una api web y se sube a la nube para que los usuarios puedan hablar con el chat bot 👌

[@felipesantos-kb1ge]

Nate soy contador realmente mi carrera no va muy de la mano con la programación o ingenieria de sistemas pero ver tus videos me envuelve y me genera mas intriga y algo que me sorprende es que mi conocimiento sobre sistemas es muy básico y aun así te entiendo, muchas gracias- Saludos desde Colombia

[@comofilosofiadevida]

buenisimo!! estoy siguiendo tus consejos y he empezado un canal de psicología y crecimiento personal con IA. Deseadme suerte!!😊

[@miltonfrancolini5590]

Nate: Voy a poner los videos a 4k Yo: 480p es ultra detallado

[@GGICI]

Con 144p va excelente 👌 😉

[@tavares_rdz]

Justo estaba empezando a meterme en este tema y KZbin me recomienda este video, como siempre Nate, explicando lo complicado en algo sencillo y entendible para todos, gracias por esta informacion introductaria, me va a ser de mucha ayuda en futuros proyectos.

[@maximoAmondragonM02]

ES MUY MUY BUENO EL VIDEO, GRACIAS por explicar algo tan novedoso y complejo que nos abre las puertas a nuevas oportunidades!!!

[@PoteRomo]

Nate, muchas gracias por explicar todo en detalles. Mi trabajo en ingeniería, pero me interesaba mucho tener un video así.

[@Fred182H]

Acabo de tener un flashback de tus videos de hace la tira haciendo reviews de ratones y teclados, y vaya como has cambiado tanto tu como persona como el nivelazo audiovisual y todo el equipo de trabajo que has montado a tu alrededor con los años, si tu o alguien de tu equipo llega a leer esto que sepan que están haciendo las cosas no solo bien sino increíble, sigan así 💪💪

[@RelatosdeRiqueza]

Gracias por compartir tu experiencia con la IA. Me has dado muchas ideas para mejorar mis propios proyectos.

[@fernandomaximotorres]

Tremendo vídeo. Me encantaría una lista de videos tuyos enseñando inteligencia artificial. He comprendido bien los conceptos y los motivos de los mismos en este video pero naturalmente no a cómo hacerlo. ¿la bases de datos son no-relacionales de esas usadas en Big-Data?

[@soundsoulpharmacy7200]

Ojo muchos creerán que eso es como "soplar y hacer botellas" con el video explicativo pero eso va más allá y el desarrollo de RAG sin ser de otro mundo requiere de conocimientos previos en IA y data science, así como la estructuración del proyecto, fijaros que Nate mismo se sorprende que no ha sido fácil y él tiene amplios conocimientos informáticos; a lo que voy es que requiere dedicación y tiempo para no desfallecer en el intento por lo abrumador del tema a pesar de que hay disponible herramientas que "facilitan" el proceso. Gracias Nate por presentar la IA como abrebocas de este amplio panorama que apenas comienza a tomar forma!

[@LuisZambrano0303]

El problema que veo muchas veces de las AI hoy en día es cuando se ponen creativas, pero eso se puede controlar, pero para eso tenemos que tener cierto nivel para montarlo y configurarlo, pero si muchos pueden, más allá del nivel de la personas, es la capacidad de cobro uar configurarlo y aprendiendo de las IA y ellas de uno, para poder hacerlo

[@diegoclimbing]

🤯 graacias Muy buena la idea de los grafos para la base de datos.

[@jordisabria]

Impresionante el vídeo!!! Me ha encantado como explicas y como lo complementas con los ejemplos visuales que hace que se entienda a la perfección. Por primera vez he entendido que es el RAG!!! Mil gracias!!! Eres un crack!!! Bueno tú con todos el equipo. Bravo de verdad!!!!

[@Juankchopy]

Una pasada de vídeo Nate!!! Como aporte (no sé si lo has probado ya), dentro de AnythingLLM puedes elegir Scrapear tu web y así resolver preguntas como coster de cursos y demás....

[@M3taDarko]

Nate Gentile, Compartiéndonos sus Herramientas... La vida junto a sus personas te lo pagaran muy grandeeee! Gracias a ti implemente algunas herramientas en un canal que estoy comenzando; espero conseguir el éxito para devolvértelo de alguna manera

[@Kira58222]

Esta genial el video muy bueno saber todo lo q está detrás de eso, por cierto, se te olvido poner la utilidad con interfaz del traductor...

[@RAMJUSTINEHP]

Muy interesante! Me comí casi los 41 minutos que dura este vídeo, pero estoy asombrado cómo avanza el futuro de la IA.

[@DavidAG]

Excelente! Hice lo mismo utilizando la API de OpenAI en Azure y programando un soft en C# que combina todas esas técnicas mostradas en el video. Felicitaciones. Más videos de AI !

[@God-Zu]

Me encanta como me fume el video entero cuando tengo una potato pc, no le se ni cambiar las ram, y tarde como 3 días en instalar un mod a minecraft...

[@ronaldwillianperezsanchez6863]

Hey Nate espero que todo marche bien. Te tengo una propuesta interesante que es posible que te guste. Estoy seguro que te resultará en una reto agradable. Soy fan del canal desde hace un tiempo y me parece muy profesional todo el trabajo que realizan. Me gusta los usos que le das a la IA y los videos de este tema son una pasada. Actualmente tengo un setup full AMD con un 5950X y una RX 6800 XT. Me preguntaba si podrías hacer algún video tratando el tema de la IA con tecnología de AMD. Se que están atrazados en este aspecto y que que Nvidia lidera el mercado, pero no concibo que no se pueda hacer nada con un hardware tan potente a día de hoy. Me gustaría que nos actualizaras a aquellos que tenemos AMD sobre que se puede hacer, porque se que hay algunas cositas por ahí.... Me gustaría que hicieras algo de IA con alguna librería que funcione con este tipo de hardware. Un saludo.

[@johnnyelcoste]

muy buen video explicativo, me has dado un empuje mirar mas de cerca el tema AI, gracias 👌🏽

[@cephvideo]

Gran video, aprendí mucho, gracias por realizarlo 🎉

[@drcm_dev]

Excelente Nate, he estado trabajando en RAGs sencillos para pequeñas empresas. En mi caso aún estoy trabajando mucho en el manejo de versiones, es un poco complejo cuando la información cambia en el tiempo.

[@mateo_alejandro_mora]

Muy buena explicación, voy a ver el otro video de ChatGPT para entender más sobre la IA

[@soygabimoreno]

Qué gran vídeo! Qué bien explicado. 🎯 Como curiosidad, comentar que con Whisper se puede exportar directamente los subtítulos en TXT con --output_format txt. Por otro lado, algo que también funciona bastante bien y que no conoce todo el mundo es el --initial_prompt, que es una especie de contexto que le das a Whisper para que haga una mejor transcripción. Por ejemplo, en este caso se le podría pasar como parámetro algo así: --initial_prompt Esto es la transcripción de un vídeo de KZbin de Nate Gentile hablando sobre Inteligencia Artificial, Chatbots, LLM, RAG, etc.

[@lincofernandezaranda2243]

Hola Nate, te quiero agredecer. Llevo un tiempo buscando información sobre este tema y tu video me parecio espectacular y una gran forma de tener una base de conceptos junto a modelos y herramientas utiles para experimentar. Muchas gracias 👏

[@wichosaenz2]

¡Este video es una joya Nate! Yo quiero replicar éste mismo proceso pero en un escenario diferente. En el pelicula "The Arrival" 2016 del director Denis Villeneuve, los heptápodos comienzan a compartir miles y miles de imagenes para iniciar una comunicación. Considerando un escenario así, que otras herramientas podrías integrar y utilizar en éste mismo proceso, para crear algo parecido con una base de datos pero de imagenes y simbolos. Ojalá alguno esté interesado en el tema, y conozca proyectos que ya estan en desarrollo; y alcanzables para replicar como el de Nate. ¡Saludos!

[@david_heca]

Estoy empezando a integrar un LLM para mi empresa conectándome con una base de datos SQL Server, esto me da mucha noción para comenzar con el desarrollo, aunque nosotros lo aremos con la Api de Azure Open AI

[@ludvikhn]

Este es sin duda uno de los mejores videos sobre IA que he visto.

[@carlosurena610]

Justo cuando tengo un proyecto De sistema expertos y RAG sale éste vídeo, excelente nate gracias

[@aquilesgonzalez9230]

Gracias Nate por tus videos nos motiva mucho mas aquellos que nos apasiona todo lo que es la tecnologia

[@sysjju4924]

Muy chulo todo lo que hizo Antes en el vídeo. Solo que LMStudio se actualizo hace unos días y ya integró el RAG a la app jsjsjs. Muy bien video Nate la verdad la IA y desarrollo avanzan super rápido al punto de que nos atrasamos.

[@tomascoglia]

Excelente contenido! Gracias, me resultó muy clarificador y me dan ganas de arrancar a jugar con estos sistemas

[@mikecrozoft]

Nate en realidad murió hace tiempo, ahora es una IA la que lleva su canal, thoughts? 😊

[@eloyfarina]

Eso explica por qué ahora está mas flaco. Nadie adelgaza tan rápido.

[@martinm1334]

Es nate del video es un modelo la IA lo hizo más "flaco" no toda IA es perfecta, pero si es realista ​@@eloyfarina

[@soundsoulpharmacy7200]

Nate no murió evolucionó, ahora le queda más tiempo para dedicarlo a otras cosas🤖

[@Atreas1845]

Que estupidez

[@robinxd6491]

@@Atreas1845HAy yutuber que hacen eso para ahorrarse tiempo, solo que avisan que es en realidad una IA la que habla aunque se vea igual al yutuber

[@davemonclova]

Lo ideal sería poder "comprimir" esos "documentos" que tiene que leer, para que lea más rápido sin perder información. Y luego sería interesante emplear dos modelos al mismo tiempo. Ya que así podrías ampliar ese multiverso. En vez de usar la VRAM de la gráfica todo el tiempo, podrías simular tú VRAM. Quizás este proceso fuese más lento, pero como hemos comprimido la información inicial de base, compensaremos el uso de una VRAM ficticia. La combinación de dos modelos con diferente potencia, podría ayudar a elaborar respuestas más depuradas y a filtrarlas. Una de esos modelos podría estar entrenado de base y el otro lo entrenas en específico. De ese modo tendrías que no hay problema de "olvido". Ahora bien, el modelo no generalista no necesita recordar el entrenamiento anterior, solamente lo que tú le quieras hacer que haga. Y para el resto, el modelo más generalista puede acudir a la llamada del específico. Es una idea loca, y no sé si se puede llegar a conseguir o si es factible, pero si funciona, oye, es un puntazo.

[@ElContador47]

Estoy ansioso de que hagas la continuación de este video. Ojalá algún día vea la luz 😅

[@abielmuren]

WOOOW me chuté todo el video enterito, y eso que solo iba a estar un ratito, pero vaya que lo haces muy ameno y entendible y me gustan mucho esos micro repasos de conceptos o procesos que vas explicando a lo largo del video. Ya me suscribí y like seguro vendré por más.

[@xaviersubira5154]

Brutal vídeo. Hasta la fecha el más revelador sobre LLM e IA

[@azhuransmx126]

Excelente pero ya que la verdadera limitante para ejecutar IA en Local es la MEMORIA y no tanto los Flops de la GPU, la pregunta del millón es que tanta VRAM admiten portátiles como estos? Cual es su límite máximo 16, 32Gb porque el día que el común pueda encapsular un modelo como el Llama 405B en Local, allí sí que estamos hablando de un verdadero cerebro de IA, los modelos de 7 a 8B alucinan mucho, empiezan a mejorar a partir de los 40-50 billones de parámetros en adelante.

[@vraisdulac2429]

En 2017 Se Descubrió La " LUZ LIQUIDA " . 0 Fricción 0 Producción De Calor Uso Más Eficiente De La Energía Y Posibilidad De Hologramas Reales . ( Nada De Gases O Vapor U Oscuridad ) . IA Locamente Más Eficientes .

[@OscarKlee]

Buen video! Consejo para los KZbinrs, no tengan miedo de poderse un poco técnicos si se requiere, estoy seguro que habemos muchos en la comunidad que sabemos del tema y se los agradeceríamos

[@santiagozuniga5685]

Es increíble la habilidad para conceptualizar en palabras simples e imágenes, toma tu like as always Nate, gracias

[@cristianleonavello155]

Nate, viendo tu video me interesó mucho probar algunos cursos de tu academia mastermid, soy estudiante de ingeniería en Informática y me resulta curioso poder reforzarme con tu material. Sin embargo, tengo un problema y es más de ubicación, pues yo soy de latino américa, específicamente chile y me causa curiosidad si tienes pensando en algún futuro expandirte para estos lados, estoy seguro que a muchos les interesaría.

[@andresmarin9049]

Nate probaste con Azure IA Studio, con Microsoft haces el RAG muy automático y la precisión del embeding es muy buena.

[@ArgyCyber]

"Entender como funcionan las cosas, es uno de los grandes placeres de la vida".. MUY BUENA ESA FRASE. Saludos desde ARGENTINA.-

[@alphonsegs]

Pedazo de video, muy buen contenido Nate!

[@PipeJM117]

Al igual que todos los videos que has hecho en esta serie sobre IA, este ha sido muy educativo y entretenido. Me ha gustado mucho y me ayuda para el proyecto de grado que estoy haciendo. Vi en uno de los artículos que he revisado el concepto de tutor, utilizar estos programas o modelos de IA que trabajan con procesamiento del lenguaje natural para construir tutores o asistentes de estudio, por lo que lo que hiciste en ese video resonó mucho con lo que he estado leyendo recientemente. Saludos desde Colombia.

[@juangomez2014]

Milagro!!! Genial video! Pensé que ya era solo de cómo suenan los teclados o el peso del mouse

[@memomt]

qué gran video te sacaste Nate! Ahora luego de empiezo a verlo

[@Boss_VR]

Muy buen contenido Nate! 👏👏👏

[@Rayhs]

Hola Nate, videazo, me ha molado mucho, aunque creo que tienes un error de concepto, el embedding no es el espacio vectorial, es decir, no es el espacio latente, sino el vector en sí, la palabra o grupo de palabras convertidas en un vector

[@williamazerrad8957]

pues realmente me parece un contenido muy interesante, muchas gracias Nate por compartir conocimiento de este modo. saludos desde Perú.

[@revoluciondigital00]

Un muy buen resumen. Tenía dudas sobre el tamaño de los modelos y cuál bajar, pero vamos que hemos acabado usando los mismos.

[@robertalvaradolugo3010]

Quien es este nate, quiero al Nate gordito de nuevo

[@alexgomez-sl2gi]

Muy buen video sobre todo la importancia de la preparacion de los datos.

[@EdwinCinereo5]

Joder que buena informacion, con este video ya no me siento tan perdido en como implementar la I.a en el trabajo. Se puede como darle vida a un indice de biblioteca. genial

[@oscar7341]

0:06 o reins roja en resident evil, o Joi en Blade Runner o Ava en Ex-machina o sonny en yo robot o david en Inteligencia Artificial o gonst in the shell o Trancendence o Minority report o the Mitchell's vs las maquinas

[@videosdelaucheveresd7235]

me rompiste la cabeza nate, super buen video!

[@AngelRodriguez-yn3ly]

Excelente explicación como siempre 💪

[@gabrielruberttone6512]

Buenisimo el contenido, ya comienzo a seguirte

[@jesusna02]

Ya extrañaba los videos mas didácticos que este canal solía ofrecer mas a menudo hace años...

[@NateGentile7]

Yo creo que la gran mayoría de los ultimos son didacticos, echales un ojo

[@jesusna02]

@@NateGentile7 tienes razón, KZbin me mostraba más los videos del otro canal… (me refiero al de Nate live)

[@Goru666_]

Aquel comentario de Salva le pegó fuerte al Nate pero la verdad me alegro porque el Mewing se está empezando a notar

[@nacherel714]

Cuál comentario?

[@Pastacream]

?

[@silvestersape]

Contexto?

[@fercho524-main]

Sería genial que montaran un pc para IA con mas de una gráfica, algo como lo que tiene dotcsv

[@albertiko921]

Tremendo vídeo Nate, con conceptos complejos pero entendibles por un público menos técnico.

[@JOC1220]

Como siempre... Excelente Video Nate!!! Te escribo porque estoy trabajando también con Whisper y en el video indicaste que utilizaste una app que tiene interfaz grafica para la transcripción de los videos pero no la encuentro por aquí. La podes pasar??

[@ignacioarregui9766]

Muy buen video, tambien para los que quereis manteneros dentro de un entorno libre podeis utilizar jan en vez de LM studio :)

[@AgustinMoya-xk9cq]

Muy buen video!, tengo dudas de como se llamaría el puesto de trabajo que se encarga de configurar la IA

[@-kevin._.yepez-]

Ya me estaba preguntando cuando crearias una IA, digo con todo lo que sacas en tus videos ya era de esperarse

[@rocaroad]

Pedazo de video, y felicidades por los cursos, me inscribí hace menos de un mes y estoy fascinada ❤❤ saludos 🇨🇱🥶

[@mamisho]

La realidad es que con la llegada de la IA estamos evolucionando en como se hacen las cosas. Todos pensaban que íbamos a dejar de programar, pero la realidad es que va a haber más trabajo 😂😂. llevo desde Mayo con proyectos para parametrizar RAG y afinar los procesos con implementaciones propias ya que como bien se explica en el video , el usar esas herramientas limita mucho la personalización. Y las empresas quieren personalizar todo para dirigir mejor sus objetivos.

[@bsanzana]

gracias por compartir estos conocimientos! Tengo una duda como supiste que las respuestas iban mejorando mientras cambiabas los embeddings y el procesamiento de datos? Solo vi que le preguntabas y tu mismo valorabas la respuesta. Alguna forma cuantitativa para medir la calidad de las respuestas?

[@MarcoLotoAstral]

puedes hacer reviews de osciloscopios y herramientas para tecnicos por gama de precios?

[@canaljoseg0172]

😊 La verdad es con la IA se puede sacar muchas cosas, el problema es uno que no se le ocurre nada, incluso podrías incorporar clases sencillas donde incluso el estudiante practique, por ejemplo en Django como personalizar las páginas en base a plantillas. Hasta se puede hacer analizadores en base a varias primicias, juegos basados en la conversación. Me gustado lo del embbeding que haz usado en LLM.

[@MAX-su9jx]

Siempre me eh preguntado que fórmula matemática usan la redes neurólonales automáticas y porqué funcionan de esa forma

[@joseluisperdigueronavas8435]

Es curioso, un concepto interesante, redes neuronales, lo vi en los 90 en la facultad muy de pasada porque lo estaban introduciendo en temas de física de partículas, no era algo que me interesara. Esos modelos sirven para analizar datos de colisiones en aceleradores que por su volumen escapan de la capacidad humana y seleccionar cuál conjunto de datos de cantidades astronómicas es el que puede interesar. Al final lo que nunca me planteé es que se pudiera utilizar tan masivamente como intermediario de información guardada en la red principalmente o en grandes repositorios como intermediario para generar respuestas probabilísticas pero no contrastadas. Hace poco una chica de donde yo trabajo borro una Base de datos por preguntar a Chat GPT como se hacía un tema de DBAs. Al final metemos un intermediario más en la información, antes eran libros, los libros se digitalizaron y se generó información en la redes con chats o artículos web, KZbin después, que ya desvirtuaron la información, y ahora sobre esa información se genera un modelo de tipo probabilístico de asociación de palabras con una cantidad ingente de consumo energético y tecnológico para desvirtuar más aún la información primaria. No voy a ejercer como hater de todo esto pero me produce la misma sensación de la virtualizacion de los 00 y la computación en la nube de los 10, derroche de recursos sin mejoras por detrás para la humanidad. En los 90 pensaba que descubrir un Superconductor de alta temperatura, las celdas de combustible, la exploración espacial, la fusión nuclear o rarezas como la anti gravedad podían cambiar el mundo sin hablar de temas de física relativista. Hoy en día en los 20 nada de eso tenemos, y si cantidades ingentes de recursos en redes neuronales. Las cosas no son como uno cree o quiere y hay que aceptar la realidad.

[@francobet9933]

Nate viendo tu video, solo falto algo para que funcione tus busquedas, realizar el proceso de indexacion de documentos, es decir ya generaste los resumenes pero tambien hay que entrenar en la toma de desicion de titulos de que documentos va a escoger para responder, quiza ponerles un nombre mas descriptivo o como los videos de yt con un apartado de tags en un array como ejm este video "ia, llama, meta,etc". Con eso puedes afinar mas las respuestas.

[@jorgel.r.p.1675]

A muchos estudiantes de informatica de fp, les gustaría oír tu opinión sobre los mejores componentes para un ordenador de estudiante (qué el presupuesto no se dispare) para ejecutar tres máquinas de virtualbox al mismo tiempo a velocidad aceptable, un servidor: un cliente Windows 10 y otro. Liente linux, o un Windows server principal, un controlador de dominio auxiliar y un servidor linux conectado al servidor windows. También estaría muy bien escuchar tu opinión sobre que portátil podría ejecutar las maquinas virtuales anteriores, sin ir a la ruina. Enhorabuena por tu trabajo de divulgación.

[@renyserna3187]

Viendo toda la publicidad posible para que ganas más con este pedazo de video

[@joannavarro94]

Nate, se pueden combinar modelos? Por ejemplo yama con mitral o utilizan parámetros muy distintos? Gracias! Excelente vídeo!!

[@TerminatorJS]

ya extrañaba estos video 🤤

[@alvaromier]

Felicidades chicos!!

[@georgetorres1535]

Algo que no te diste cuenta y salió en un paper hace poco es que también puedes cambiar a 8bit los vectores de tus documentos, esto baja el rendimiento entre 2 y 5 porciento que es casi nada cuando tienes documentos masivos como son 20mil documentos, aparte la velocidad es altísima. Para los que no tiene una buena PC y no pueden correr llama 3.1, pueden hacerlo mediante la api de groq que es gratis y corre llama 3.1 70b.