Prueba ya Llama 3 - Tres formas de correrlo en tu equipo y tres formas gratis via web

En este video te explico tres formas en las que puedes ejecutar Llama 3 ¡ya mismo! Probaremos con nuestros programas favoritos Ollama y LM Studio pero también con LlamaFile, una variante portatil creada por Mozilla. También exploraremos tres servicios con los que puedes probar sin coste este modelo, incluso en su version de 70B de parámetros, sin tener una GPU local potente.
Llama 3 es un modelo liberado por Meta con licencia que permite el uso comercial para la mayoría de casos y que se ha entrenado con un inmenso corpus de conocimiento. Las evaluaciones inciales lo situán por encima de ChatGPT-3.5 y el modelo más grande tiene rendimientos similares a otros modelos comerciales, cuyos pesos no están disponibles en abierto.

[@juanjesusligero391]

¡Gran vídeo, como siempre! ^^ Sobre el testeo de nuevos modelos, a mí me suele gustar preguntarle cosas muy muy específicas de mi campo (así sé cómo de útil me va a ser probablemente), pero para que interese a todos yo diría que lo suyo es que te hagas una pequeña batería de preguntas variadas. Por ejemplo, podrías hacer una pregunta de lógica, otra de programación (algo sencillito), otra de matemáticas, otra de literatura/poesía, otra de conocimientos generales, y una última que podría ser muy muy específica de un campo concreto y podrías ir variando de un vídeo a otro para darle vidilla. Lo mismo sería interesante que para esa última pregunta les pidieras a los espectadores que escriban preguntas que les interesa de este tipo, así te las podrías apuntar e ir usando de forma aleatoria en sucesivos vídeos.

[@ivanr4658]

Esperando impaciente

[@En60Segundos.]

Ya lo probé ayer y esta bastante bien, ahora falta esperar el modelo grande, va a estar brutal

[@jossejosse952]

Acaba de salir phi3 7b y 14b y al parecer según Microsoft es superior al famoso llama 3 8b y llama 3 70b

[@LaHoraMaker]

Si, lo único que un modelo de 400B a ver donde lo vamos a poder ejecutar!

[@elgazeta]

Buenas, por mi está bien la pregunta actual sobre movimiento maker y pandemia. En general el prompt q uso es algo así como: "inventa una operación matemática completamente nueva e implementala en python"

[@JuanCastillo-lp2kl]

Buenas noches muchas gracias por la información. Yo apenas estoy entendiendo esto sobre los modelos de llama 3 y demás. No soy muy bueno programando y mi computadora no es muy sofisticada; pero como usuario nuevo no quiero quedarme atrás. Tomando en cuenta mi situacion, me gustaria aprender lo siguiente: descargar un modelo pequeño en mi laptop y aplicarlo en mi escuela, por ejemplo: que analice una lista de asistencia y calificaciones de mis alumnos y pueda obtener sobre quien mas falta, el promedio, etc. Otra aplicacion es que analice expedientes de alumnos y pueda detectar algunos comportamientos de conducta etc. No se si se pueda; pero me gustaria saberlo y finalmente si puedo desplegarlo como una app o pagina web . Muchas gracias por leer el comentario . Quiza existan mas usuarios como yo que no entendemos y buscamos aplicaciones sencillas en nuestro entorno laboral

[@vitaminservice_]

Genial como siempre.

[@corleone2009]

Muchísimas gracias 😊

[@LaHoraMaker]

Gracias por comentar!

[@santiagocastillo1719]

Muchas gracias por el esfuerzo de divulgación. Sobre la pregunta, solo como sugerencia a bote pronto, podríamos preguntar sobre si la sonda espacial Voyager I todavía envía datos útiles a la Tierra (hace unos meses, creo que 5, empezó a enviar datos no legibles debido a la corrupción de un chip).

[@nabilfarja8616]

Posta no se como no tenes mas subs

[@Maisonier]

Pero que buen canal en español! like y suscribir. Sería genial algún vídeo de cómo usar crewai con llama 3 cuando tengas tiempo o si es mejor autogen2.0 ¿o qué otras herramientas hay? gracias por compartir conocimiento.

[@PHRAKENDARK]

Sería bueno que hicieras como maneja el lenguaje de Marcado del promt de cada modelo. Para promt dinámicos

[@danson3038]

Cesar, que nos recomiendas para plugin Vscode con modelo dual local & openai?

[@AlejandroHidalgoL]

No vengo del mundo de los datos ni menos de la IA y estoy encantado con tus videos. Muchas gracias. Una consulta que tengo sobre el uso de estos modelos es cómo puedo pasarle una base de datos externa a para luego hacerle consultas relacionadas... por ejemplo la nómina de notas de un instituto y consultar sobre alumnos con peores rendimientos o profesores con peor performance. no sé si esto sea posible a través del uso de IA o para el caso mejor usar usar otras estrategias clásicas de análisis de datos. Muchas gracias por la respuesta.

[@angieo3934]

Se puede hacer como un bot Q&A con información de pdf, podrías hacerla con base de datos de vectores y explicar la generación de embeddings o hacer embeddings con esos nuevos modelos? :D

[@erikamoonreeves6462]

Te paso un like... ..

[@sebastian3122]

Gracias por tus vídeos, acabo de aterrizar en este mundo. De momento, a mí la llama estándar me suelta más mentiras que verdades, debe haber comido alguna hierba alucinógena.

[@LaHoraMaker]

El modelo de 70B funciona bastante mejor que el de 8B en cuanto a devolver información fidedigna. Pero para procesar textos, hacer resumenes y demás el pequeño me ha funcionado bastante bien.

[@jribesc]

Gracias !!!!

[@JaviArte]

Un apunte. El LM Studio funciona muy bien, pero no puede ejecutar modelos si tienes una CPU antigua :( (aunque elijas que corra en la GPU)

[@En60Segundos.]

Saludos makers

[@LaHoraMaker]

¡Saludos!

[@dashremix]

Hola!. Como estas? Seria bueno que hicieras una evaluación de Phi3 en local

[@TheQuiyax]

Hola! Me gustaría poder aclarar que es tener un Hardware potente o medianamente potente, se me dificulta establecer en que rango esta mi computador para ejecutar un modelo u otro.

[@dragontvfics]

buen día, cual modelo me recomiendas para escribir relatos/cuentos/novelas?

[@Jesulex82]

Cuanndo descargo el modelo para LMstudio siempre me da un fallo ¿Me das algún consejo?

[@a0z9]

Si el mediano necesita unac3090, cuando salga el modelo grande no entra ni por la puerta. El prompt definitivo sería: ¿ podría el movimiento maker contribuir al avance de la IA con la creación de neuronas artificiales mediante el diseño y la fabricación de circuitos electrónicos que imiten las funciones básicas de las neuronas biológicas, como la capacidad de recibir y enviar señales eléctricas ,utilizando tecnologías como la electrónica bioinspirada o la computación neurológica.?¿Qué opinas sobre esta aproximación?

[@LaHoraMaker]

Le podemos preguntar estas preguntas a los próximos modelos a ver si nos llevan hacia el futuro :D

[@moebiusSurfing]

Hola, sabes si se podría entrenar llama para escribir con el estilo de un autor/escritor puntual?

[@josepolonia7723]

una pregunta hermano las tarjetas NVIDIA Tesla K80 24GB GDDR5 se pueden utilizar para correr modelos?

[@LaHoraMaker]

Hola Jose, hasta donde se estar tarjetas son como 2 tarjetas de 12Gb unidas. El soporte de drivers para estar tarjetas tampoco soporta muchas de las nuevas funcionalidades, así que creo que no son las más recomendables si estás buscando tarjetas nuevas.

[@christianesteveorts9935]

Saludos makers. Una pregunta, al instalar Lm studio en una máquina virtual Windows 11 o 10 me da un error relacionado con JavaScript. Alguien ha conseguido empaquetar Lm studio en un máquina v?

[@Salionca]

Modo oscuro, por favor. Gracias.

[@LaHoraMaker]

Pues es una buena idea, lo mismo así hay menos contraste entre la parte de la terminal y la parte del navegador.

[@trocarful]

Un video sobre devin, please!!

[@javilobaton]

Estoy trabajando en un proyecto que tengo que traducir al español un montón d libros. Me gustaría ver qué modelo y qué aplicación puede ayudarme a hacerlo localmente. Graciasss

[@LaHoraMaker]

Hola Javi, yo le daría un vistazo a los modelos específicos para la traducción disponibles HuggingFace: huggingface.co/models?pipeline_tag=translation&sort=trending En el caso de traducción de inglés a español, tienes los modelos de Helsinki-NLP, que tienen muy buena pinta: huggingface.co/Helsinki-NLP/opus-mt-tc-big-en-es

[@javilobaton]

@@LaHoraMaker gracias

[@inteligenciafutura]

sabes como entrenarlo?

[@kannder83]

HOla, alguna recomendación de cloud/vm para correr ollama? algo diferente a AWS o GCP? de antemano gracias 😁

[@LaHoraMaker]

Quizás lo más sencillo sea un servicio como Together o Groq (via API), pero si quieres correr Ollama en una VM lo más práctico es usar Runpod. Lo único que hay que acordarse al levantar la máquina de exponer el puerto del 11434 o hacer la inferencia en local vía ssh.

[@kannder83]

@@LaHoraMaker muchas gracias!

[@javiercc2845]

Buenas tardes. Que modelo gratuito recomiendas para trabajar en español y en local con tus propios documentos?

[@nichonauta]

Stable LM 2 1.6B es muy pequeño, rápido, y está pensado para varios idiomas incluído español. Para trabajos complejos quizá no sea lo mejor, pero para todo lo demás en español funciona perfecto.

[@javiercc2845]

@@nichonauta gracias! Voy a probarlo a ver como se compara con gpt3.5

[@pablobandeira5461]

Hola! como estas?, para correr un modelo que pesa 26gb (lama3:70b-instruct-q2_K), lo puedo correr con una 3090 de 24gb y ram de 16gb? o necesito que la ram y la vram sean equivalentes a lo que pesa el llm?

[@LaHoraMaker]

En programas como LM Studio, le puedes indicar el número de capas que quieres que se ejecuten en la GPU, el resto lo cargará en la memoeria del equipo. Así que si tienes memoria suficiente debería cargarlo sin problema. Ahora bien, para una tarjeta de 24 Gb, creo que te va a funcionar mejor algo tipo Mixtral 8x7B Q3, que son 20,5 Gb. Ya me dirás a ver que tal te funciona!

[@danson3038]

No escatimes en RAM. Es mucho más asequible, se recomienda mínimo 2x vram. Los modelos híbridos CPU+vram terminan consumiendo más xram total que la propia del modelo. Si subimos el contexto del modelo ya ni hablamos.

[@user-ov4mi2nn3o]

Traducr videos de youtube en local

[@Raikage_IA]

hola, la hora maker, veras tengo una pregunta y no se si puedas ayudamre , yo me dedico a hacer hentai contenido erotico para adultos con imagenes en stable difussion y constante mente necesito creacion de dialogos mi duda habra algun modelo que me ayude ya que los que e usado no me responden bien o me dicen que no pueden resoonder cosas tipo NSFW