MIXTRAL 8x7b Aprende a EJECUTAR el Nuevo Rey de los LLM (Mejor que Llama y GPT 3.5)

[@luis3589]

Muy buen contenido! Estaba intentando aprender por mi cuenta sobre LLM y vienen genial. Muchas gracias

[@alexFocus8]

Muchas gracias por el comentario 😁 me alegro que te sea util

[@insecureup]

Muy interesante, ahora lo que estaría genial es un video tutorial haciendo LLM transfer learning o fine-tuning. Hay una app que creo que hace fine-tuning se llama Ollama. El tema de la habilidades emergentes de estos modelos también es muy interesante sobre todo si existen pruebas para averiguar cuales a adquirido.

[@alexFocus8]

Tengo un video en el canal de como hacer fine tunning a Llama, mirare para hacer un video de ollama aunque creo que por ahora solo esta para linux y mac y hay mucha gente que tiene windows, gracias por el comentario 😁

[@carlosalaniz3951]

Este modelo podría responder en base a documentos que podamos cargar tipo modelo RAG que ocupaste en Llama?

[@alexFocus8]

Si, justo estoy preparando un video de eso 😁 el lunes lo tendrás en el canal

[@carlosalaniz3951]

@@alexFocus8 Genial gracias

[@videosmarcodemonte]

excelente canal 😀

[@alexFocus8]

Muchas gracias!!

[@chemaalonso7931]

Donde puedo aprender desde 0 todo esto de la IA modelos, fine tunning etc?

[@alexFocus8]

El lunes subiré un video explicando que libros puedes leer para aprender todo 👍 tambien hay videos y cursos por internet que ayudan mucho, o ya algo mas completo puedes hacer un master.

[@ojalaquesirva126]

👍🏻

[@vladmartinez2335]

Hola, alguien sabe si este modelo tiene filtros para evitar crear contenido explicito ?

[@alexFocus8]

Es totalmente libre, puedes preguntarle lo que quieras sin filtros ni bloqueos

[@y_thedreamer95]

Cuanta vram se necesita para correrlo full local ? 24gb?

[@alexFocus8]

Con la optimización del repo teniendo 24 Gb debería ser suficiente, de todas formas no he hecho pruebas en local, solo en colab y con una A100 en cloud.

[@cristianparra5546]

100-140gb vram

[@jackgaleras]

LLama 3?

[@alexFocus8]

Si, tengo que hacer video que ha superado a mistral

[@inteligenciafutura]

Porque todos hablan mierda siempre que aseguran que alguno supera a gpt solo fallan de forma idiota

[@alexFocus8]

Lo has probado? Yo la verdad que ha sido de las primeras veces que pienso que realmente lo supera en varias cosas

[@inteligenciafutura]

@@alexFocus8 cuando le preguntas por código falla horrible igual que llama 2 y otros, lo mismo paso con bard , no se acerca a gpt y los otros disponibles en hungerface son fatales

[@jackgaleras]

siii, todos fallan@@inteligenciafutura

[@OscarBenitez-sp7rk]

A ver podrias hablar acerca del equipo minimo en la q se puede usa,yo el año pasado baje llama 1 d 7b en un dinosauro de 4g i procesador de 1.5 g i no me respondia no se si seria por mi equipo

[@alexFocus8]

Es posible, estos modelos necesitan muchos recursos. Investigare si hay alguno pequeño que vaya bien (por ejemplo GPT2 se podia ejecutar en cualquier CPU pero no tiene sentido nada de lo que dice)