Cómo Correr el Modelo Llama 3.1 de Meta en Local con Python

[@JORDAN7514]

Este canal vale oro!

[@CodigoEspinoza]

jaja gracias!!

[@Deus-lo-Vuilt]

Fue entretenido probar todo , funcionando super bien :3

[@CodigoEspinoza]

Excelente!

[@Deus-lo-Vuilt]

Genial , esperaba algo así , poder usar crear apps usando un modelo de llama local ❤

[@CodigoEspinoza]

Súper!

[@Deus-lo-Vuilt]

@@CodigoEspinoza está genial está serie , ando viendo lo de montar ollama para poder avanzar algunos proyectos de la lista , no sé si tienes pensado a futuro sacar más usando llama 🦙🔥, saludos de Concepción , Chile 🏛️

[@reinerromero7265]

😄 Muy interesante. Muchas gracias.

[@DatossobrelaFaunayFlora]

Hola, me gusta mucho tu video, soy fácil de comprende mucha gracia por en esfuerzo.

[@CodigoEspinoza]

Gracias a ti por este comentario

[@lucassalinas321]

contenido de calidad mi broder, enseña a crear el chat con memoria, seria bruta!!!

[@CodigoEspinoza]

Perfecto se viene pronto entonces!!!

[@AdrianLopez-vh2dl]

Amigo ya estoy instalandolo, todavia tengo que leer la documentacion del modelo para saber que permisos hay, pero el hecho de que sea de codigo abierto me encanta. Voy a usarlo en mis futuros proyectos. Saludos y espero el video con la capacidad de recordar!

[@CodigoEspinoza]

Súper gracias por comentar :D

[@AlexHernandez-ms3wo]

Hola que proyectos tienes en mente?

[@LuisCalvoSaez]

Hola, se podria editar un modelo y quedarte solo la parte que te interesa? por ejemplo dejar solo dos idiomas

[@pedrodavid5752]

Muchísimas gracias por tu contenido hermano, me es de muchísima ayuda, podrías hacer algún video haciendo lo mismo con llama3 pero con streamlit?

[@CodigoEspinoza]

algo así tu dices xD? kzbin.info/www/bejne/aKbMi4iuo5eom7M

[@pedrodavid5752]

@@CodigoEspinoza jajajajaja no lo había visto, gracias hermano

[@CodigoEspinoza]

@@pedrodavid5752 de nada!

[@gabrielcastro7741]

Gracias mi rey

[@CodigoEspinoza]

Gracias a ti

[@arielsoto4166]

Muy bien explicado gracias

[@CodigoEspinoza]

Hola, muchas gracias!!!

[@MrSospechoso35]

hola, que app usas para abrir la consola y que tal fucniona?

[@CodigoEspinoza]

Pycharm y me va muy bien

[@keidyli]

❤Hola profe Iván. Tiene algún video de creación de chatbot con la API de WhatsApp y facebook? Gracias ☺️

[@CodigoEspinoza]

Aún no pero lo tengo en carpeta!

[@Deruko.]

vengo del futuro con ollama 3.2, parece ser que el modelo de 405b ya no esta disponible...una lastima, hubiera sido cool ver que hacia

[@CodigoEspinoza]

Igual es muy dificil correr ese modelo en local, hay que tener una máquina muuuuy potente

[@CodigoEspinoza]

revisaste la compatibilidad de versiones?

[@williamscondori4479]

te falto explicar los requisitos minimos de hardware

[@alexr9934]

Descargué Gemma en mi laptop que no es ni de cerca la mejor y funciona medianamente aceptable Ollama . Ya me di cuenta que tidi depende de la tarjeta gráfica 😅

[@CodigoEspinoza]

Jajaja si depende mucho de la tarjeta gráfica

[@lucasderito]

Hola..como estas... probaste q tal funciona para pedirle q te devuelva un json? Sabes q tal puede funcionar para eso? Muy buen video

[@CodigoEspinoza]

no he probado pero me imagin o que funciona bien solo que tendrias que copiar y pegar el contenido del json

[@lucasderito]

@@CodigoEspinoza y esa devolución la podre pegar en algún gráfico de x ejemplo matplotlib? Q opinas?..o q por ejemplo detecte palabras y las compare con algún diccionario..

[@CodigoEspinoza]

@@lucasderito yo creo q si peor para esas cosas más estructuradas podrías usar langchain

[@lucasderito]

@@CodigoEspinoza muchas gracias..queria saber eso q tan escalable puede ser ..como tambien asi sumarle streamlit y poder desplegar algo en real..espero se entienda la idea...pq asi es buenísimo como herramienta local pero se podria combinar con lo q te digo..voy a probar y despues cuento

[@CodigoEspinoza]

@@lucasderito súper y si cuéntame cómo te resulta

[@DatossobrelaFaunayFlora]

oye podría hace un video explicado los básico de fine tuner para este modelo otro.

[@CodigoEspinoza]

Siii tengo pendiente haceer un vídeo asi!!

[@marcelotorres9145]

Puedes hacer el chat pero con memoria? Te voy agradecer... 👏👏👏💪💪💪

[@CodigoEspinoza]

Ya está ¡Crea tu Propio Chat con Memoria Usando LLaMA 3.1 y Streamlit! 🚀 kzbin.info/www/bejne/ppXQkqiOoL2hpck

[@gabrielmartin3107]

Se podría hacerle una calculadora en python ? para que el modelo de lenguaje pueda usarla, es que al ser solo modelo de lenguaje calcula cosas muy mal y alucina bastante en matemáticas. O lo mismo la gran equivocación es pedirle a un modelo de lenguaje cálculos matemáticos, no se, tu que opinas.

[@CodigoEspinoza]

claro te recomiendo mirar el ultimo video que subí, ahí hicew algo similar

[@GonzaloVeglio]

como podria crear el codigo en mi pc pero que al momento de ejecutarse busque el Ollama y el modelo Llama 3 de otro equipo en el que esta intalado?

[@Nicoadriazola]

¿Tienes algún Mail de contacto?

[@sheanlyshorts]

y lo puedo entrenar yo mismo ? como se hace

[@CodigoEspinoza]

Si hay formas de hacer fine tunning, espero poder preparar un video pronto al respecto

[@saramilenadiazperez381]

Corrí el modelo en mi local, sin embargo se demora mucho en responder a una solicitud (4-10 minutos). ¿Sabes como se podría mejorar?

[@CodigoEspinoza]

Generalmente es por la tarjeta de video q tienes, lamentablemente estos modelos requieren harta tarjeta de video

[@OscarMejia-z6e]

no entiendo porque a mi me demora un monton de tiempo para enviarme una respuesta, y a veces no las envia, estoy utilizando la latest y tengo 12gb de ram, que tristeza :c

[@kantyDarius]

Tienes una gráfica con 12 GB de ram?

[@OscarMejia-z6e]

@@kantyDarius No, la mia es de 4

[@CodigoEspinoza]

es por eso

[@POGRetroModernGaming]

Yo tengo 32 de ram y me pasa lo mismo

[@OscarMejia-z6e]

@@POGRetroModernGaming al parecer hay que tener una tarjeta gráfica poderosa para que funcione ;)

[@Jaibytes]

Cuántos gigas ocupa ?

[@CodigoEspinoza]

Si no me equivoco al Menos 12gb de memoria de tarjeta gráfica

[@CodigoEspinoza]

Difícil, pero subí otro video con una alternativa no local peor gratuita

[@josephfoster9927]

Cuales son los requisitos computacionales para poder correrlo en local

[@josephfoster9927]

Se necesita VRAM

[@CodigoEspinoza]

basicamente: Note: You should have at least 8 GB of RAM available to run the 7B models, 16 GB to run the 13B models, and 32 GB to run the 33B models.

[@enekomalo7190]

Hola, alguno ha podido ejecutar el modelo en local sin acceso a internet? a mi me da siempre errror de conexion httpx.ConnectError: [Errno 11001] getaddrinfo failed

[@jodter1]

para hacer q guarde el chat q se tiene, solo guardo en una variable la conversaciones y ya ? cual es el limite de texto ?

[@CodigoEspinoza]

Si puedes hacerlo con una variable de memoria teengo algunos videos que explican eso tb acá een el canal, sobre el limite estoy buscando no eestoy seguroi aún, apenas sepa el limite de token lo pongo

[@jodter1]

@@CodigoEspinoza voy a experimentar. gracias por tu contenido de calidad.

[@CodigoEspinoza]

@@jodter1 gracias por el apoyo :) y éxito!

[@ArgenNews]

Pero estás usando el Q6, el Q8 sería mejor todavía.

[@javaboy6581]

Muy buen video, no se que sentido tiene correr los LLM locales si con chatgpt tenemos de sobra y es mucho mas avanzado, es preferible pagar la membresia y nos da todo GPT propios, etc. Usar los LLM locales que no le llegan ni a la suela y configurarlos es perder el tiempo a lo tonto a mi modo de ver, yo lo he hecho y los resultados son muy pobres. Hacerles fine tunning y rag con lo que lleva de tiempo y luego ves los resultados y se te cae el alma a los pies. Me quedo con chatgpt de calle.

[@CodigoEspinoza]

Hola graciasp or eel comentario, pero si tiene sentido en algunos proyectos que neceesites un modelo quee no cobre por su API y que puedas solucionar tareas repetitivas que se generarán siempre y pueden aumentare los tokens considerableemente, por ejemplo crear un npc para un juego que responda con lenguaje natural

[@javaboy6581]

@@CodigoEspinoza Gracias a ti por contestar, un abrazo