Prueba ya Llama 3 - Tres formas de correrlo en tu equipo y tres formas gratis via web

[@hjicr3037]

Muy claros tus videos, gracias desde Centro America. Muy interesado en los modelos para RAG, pero me agradaria que se explorara mas desde Linux. He tenido problemillas porque al instalar algunas herramientas, hay choques con los drivers "default" del linux sobre todo Nvidea (no es solo tema de bajarse el ultimo desde la web instalarlo y ya). Gracias.

[@angieo3934]

Se puede hacer como un bot Q&A con información de pdf, podrías hacerla con base de datos de vectores y explicar la generación de embeddings o hacer embeddings con esos nuevos modelos? :D

[@santiagocastillo1719]

Muchas gracias por el esfuerzo de divulgación. Sobre la pregunta, solo como sugerencia a bote pronto, podríamos preguntar sobre si la sonda espacial Voyager I todavía envía datos útiles a la Tierra (hace unos meses, creo que 5, empezó a enviar datos no legibles debido a la corrupción de un chip).

[@En60Segundos.]

Ya lo probé ayer y esta bastante bien, ahora falta esperar el modelo grande, va a estar brutal

[@jossejosse952]

Acaba de salir phi3 7b y 14b y al parecer según Microsoft es superior al famoso llama 3 8b y llama 3 70b

[@LaHoraMaker]

Si, lo único que un modelo de 400B a ver donde lo vamos a poder ejecutar!

[@juanjesusligero391]

¡Gran vídeo, como siempre! ^^ Sobre el testeo de nuevos modelos, a mí me suele gustar preguntarle cosas muy muy específicas de mi campo (así sé cómo de útil me va a ser probablemente), pero para que interese a todos yo diría que lo suyo es que te hagas una pequeña batería de preguntas variadas. Por ejemplo, podrías hacer una pregunta de lógica, otra de programación (algo sencillito), otra de matemáticas, otra de literatura/poesía, otra de conocimientos generales, y una última que podría ser muy muy específica de un campo concreto y podrías ir variando de un vídeo a otro para darle vidilla. Lo mismo sería interesante que para esa última pregunta les pidieras a los espectadores que escriban preguntas que les interesa de este tipo, así te las podrías apuntar e ir usando de forma aleatoria en sucesivos vídeos.

[@AlejandroHidalgoL]

No vengo del mundo de los datos ni menos de la IA y estoy encantado con tus videos. Muchas gracias. Una consulta que tengo sobre el uso de estos modelos es cómo puedo pasarle una base de datos externa a para luego hacerle consultas relacionadas... por ejemplo la nómina de notas de un instituto y consultar sobre alumnos con peores rendimientos o profesores con peor performance. no sé si esto sea posible a través del uso de IA o para el caso mejor usar usar otras estrategias clásicas de análisis de datos. Muchas gracias por la respuesta.

[@Maisonier]

Pero que buen canal en español! like y suscribir. Sería genial algún vídeo de cómo usar crewai con llama 3 cuando tengas tiempo o si es mejor autogen2.0 ¿o qué otras herramientas hay? gracias por compartir conocimiento.

[@elgazeta]

Buenas, por mi está bien la pregunta actual sobre movimiento maker y pandemia. En general el prompt q uso es algo así como: "inventa una operación matemática completamente nueva e implementala en python"

[@danson3038]

Cesar, que nos recomiendas para plugin Vscode con modelo dual local & openai?

[@JuanCastillo-lp2kl]

Buenas noches muchas gracias por la información. Yo apenas estoy entendiendo esto sobre los modelos de llama 3 y demás. No soy muy bueno programando y mi computadora no es muy sofisticada; pero como usuario nuevo no quiero quedarme atrás. Tomando en cuenta mi situacion, me gustaria aprender lo siguiente: descargar un modelo pequeño en mi laptop y aplicarlo en mi escuela, por ejemplo: que analice una lista de asistencia y calificaciones de mis alumnos y pueda obtener sobre quien mas falta, el promedio, etc. Otra aplicacion es que analice expedientes de alumnos y pueda detectar algunos comportamientos de conducta etc. No se si se pueda; pero me gustaria saberlo y finalmente si puedo desplegarlo como una app o pagina web . Muchas gracias por leer el comentario . Quiza existan mas usuarios como yo que no entendemos y buscamos aplicaciones sencillas en nuestro entorno laboral

[@PHRAKENDARK]

Sería bueno que hicieras como maneja el lenguaje de Marcado del promt de cada modelo. Para promt dinámicos

[@dashremix]

Hola!. Como estas? Seria bueno que hicieras una evaluación de Phi3 en local

[@ivanr4658]

Esperando impaciente

[@TheQuiyax]

Hola! Me gustaría poder aclarar que es tener un Hardware potente o medianamente potente, se me dificulta establecer en que rango esta mi computador para ejecutar un modelo u otro.

[@orioloriol5027]

buen video ----- "Anything LLM" soporta API ?? no encuentro info ,gracias ,

[@vitaminservice_]

Genial como siempre.

[@dragontvfics]

buen día, cual modelo me recomiendas para escribir relatos/cuentos/novelas?

[@moebiusSurfing]

Hola, sabes si se podría entrenar llama para escribir con el estilo de un autor/escritor puntual?

[@nabilfarja8616]

Posta no se como no tenes mas subs

[@corleone2009]

Muchísimas gracias 😊

[@LaHoraMaker]

Gracias por comentar!

[@JaviArte]

Un apunte. El LM Studio funciona muy bien, pero no puede ejecutar modelos si tienes una CPU antigua :( (aunque elijas que corra en la GPU)

[@a0z9]

Si el mediano necesita unac3090, cuando salga el modelo grande no entra ni por la puerta. El prompt definitivo sería: ¿ podría el movimiento maker contribuir al avance de la IA con la creación de neuronas artificiales mediante el diseño y la fabricación de circuitos electrónicos que imiten las funciones básicas de las neuronas biológicas, como la capacidad de recibir y enviar señales eléctricas ,utilizando tecnologías como la electrónica bioinspirada o la computación neurológica.?¿Qué opinas sobre esta aproximación?

[@LaHoraMaker]

Le podemos preguntar estas preguntas a los próximos modelos a ver si nos llevan hacia el futuro :D

[@christianesteveorts9935]

Saludos makers. Una pregunta, al instalar Lm studio en una máquina virtual Windows 11 o 10 me da un error relacionado con JavaScript. Alguien ha conseguido empaquetar Lm studio en un máquina v?

[@josepolonia7723]

una pregunta hermano las tarjetas NVIDIA Tesla K80 24GB GDDR5 se pueden utilizar para correr modelos?

[@LaHoraMaker]

Hola Jose, hasta donde se estar tarjetas son como 2 tarjetas de 12Gb unidas. El soporte de drivers para estar tarjetas tampoco soporta muchas de las nuevas funcionalidades, así que creo que no son las más recomendables si estás buscando tarjetas nuevas.

[@javilobaton]

Estoy trabajando en un proyecto que tengo que traducir al español un montón d libros. Me gustaría ver qué modelo y qué aplicación puede ayudarme a hacerlo localmente. Graciasss

[@LaHoraMaker]

Hola Javi, yo le daría un vistazo a los modelos específicos para la traducción disponibles HuggingFace: huggingface.co/models?pipeline_tag=translation&sort=trending En el caso de traducción de inglés a español, tienes los modelos de Helsinki-NLP, que tienen muy buena pinta: huggingface.co/Helsinki-NLP/opus-mt-tc-big-en-es

[@javilobaton]

@@LaHoraMaker gracias

[@Jesulex82]

Cuanndo descargo el modelo para LMstudio siempre me da un fallo ¿Me das algún consejo?

[@LaHoraMaker]

Prueba a descargarte la versión 3.1 que es más reciente, a ver si con esta te funciona.

[@javiercc2845]

Buenas tardes. Que modelo gratuito recomiendas para trabajar en español y en local con tus propios documentos?

[@nichonauta]

Stable LM 2 1.6B es muy pequeño, rápido, y está pensado para varios idiomas incluído español. Para trabajos complejos quizá no sea lo mejor, pero para todo lo demás en español funciona perfecto.

[@javiercc2845]

@@nichonauta gracias! Voy a probarlo a ver como se compara con gpt3.5

[@kannder83]

HOla, alguna recomendación de cloud/vm para correr ollama? algo diferente a AWS o GCP? de antemano gracias 😁

[@LaHoraMaker]

Quizás lo más sencillo sea un servicio como Together o Groq (via API), pero si quieres correr Ollama en una VM lo más práctico es usar Runpod. Lo único que hay que acordarse al levantar la máquina de exponer el puerto del 11434 o hacer la inferencia en local vía ssh.

[@kannder83]

@@LaHoraMaker muchas gracias!

[@jribesc]

Gracias !!!!

[@inteligenciafutura]

sabes como entrenarlo?

[@pablobandeira5461]

Hola! como estas?, para correr un modelo que pesa 26gb (lama3:70b-instruct-q2_K), lo puedo correr con una 3090 de 24gb y ram de 16gb? o necesito que la ram y la vram sean equivalentes a lo que pesa el llm?

[@LaHoraMaker]

En programas como LM Studio, le puedes indicar el número de capas que quieres que se ejecuten en la GPU, el resto lo cargará en la memoeria del equipo. Así que si tienes memoria suficiente debería cargarlo sin problema. Ahora bien, para una tarjeta de 24 Gb, creo que te va a funcionar mejor algo tipo Mixtral 8x7B Q3, que son 20,5 Gb. Ya me dirás a ver que tal te funciona!

[@danson3038]

No escatimes en RAM. Es mucho más asequible, se recomienda mínimo 2x vram. Los modelos híbridos CPU+vram terminan consumiendo más xram total que la propia del modelo. Si subimos el contexto del modelo ya ni hablamos.

[@Salionca]

Modo oscuro, por favor. Gracias.

[@LaHoraMaker]

Pues es una buena idea, lo mismo así hay menos contraste entre la parte de la terminal y la parte del navegador.

[@trocarful]

Un video sobre devin, please!!

[@En60Segundos.]

Saludos makers

[@LaHoraMaker]

¡Saludos!

[@sebastian3122]

Gracias por tus vídeos, acabo de aterrizar en este mundo. De momento, a mí la llama estándar me suelta más mentiras que verdades, debe haber comido alguna hierba alucinógena.

[@LaHoraMaker]

El modelo de 70B funciona bastante mejor que el de 8B en cuanto a devolver información fidedigna. Pero para procesar textos, hacer resumenes y demás el pequeño me ha funcionado bastante bien.

[@erikamoonreeves6462]

Te paso un like... ..

[@SalomónVelazquez-e5z]

Traducr videos de youtube en local

[@Raikage_IA]

hola, la hora maker, veras tengo una pregunta y no se si puedas ayudamre , yo me dedico a hacer hentai contenido erotico para adultos con imagenes en stable difussion y constante mente necesito creacion de dialogos mi duda habra algun modelo que me ayude ya que los que e usado no me responden bien o me dicen que no pueden resoonder cosas tipo NSFW