Lo que OpenAI NO quería que supieras sobre GPT4 - (De los MoEs a Mixtral)

OpenAI ha intentado mantener en secreto durante todo el año qué hay detrás del modelo más potente de ChatGPT. En el vídeo de hoy os explicaré en qué consiste el funcionamiento de GPT-4 y su arquitectura de tipo MoE (Mixture-of-expert) que recientemente ha ganado mucha más importancia tras la salida del modelo open source Mixtral 8x7b, de la compañía Mistral AI.
► Blog post de Mistral AI sobre Mixtral 8x7b
mistral.ai/new...
► Github del Colab con Mixtral 8x7b
github.com/dvm...
► Podcast de George Hotz
• George Hotz - GPT-4's ...
📹 EDICIÓN: Carlos Santana y Diego Gonzalez (Diocho)
-- ¡MÁS DOTCSV! ---
📣 NotCSV - ¡Canal Secundario!
/ notcsv
💸 Patreon : / dotcsv
👓 Facebook : / ai.dotcsv
👾 Twitch!!! : / dotcsv
🐥 Twitter : / dotcsv
📸 Instagram : / dotcsv
- ¡MÁS CIENCIA! --
🔬 Este canal forma parte de la red de divulgación de SCENIO. Si quieres conocer otros fantásticos proyectos de divulgación entra aquí:
scenio.es/colab...

[@DotCSV]

🚨 Ya tenéis el TUTORIAL para instalar Mixtral 8x7b GRATIS en LOCAL! 👉 kzbin.info/www/bejne/aWrcpnd4g5p-mNUsi=BTyq2Nve2-mVO0pg 👈

[@xavierv323]

donde se ve ese ranking que has puesto del video

[@DotCSV]

🔥 ¡FELIZ AÑO A TODOS! 🔥 Aprovechad este mensaje para dejar feedback de qué os gustaría ver en este canal el próximo año (formatos y temáticas), o si os ha gustado el trabajo que hemos hecho durante este año, pues palabras bonitas, que también gustan ♥ ¡En 2024 seguiremos contando la revolución de la IA juntos!

[@LosHuevosDelDIbuVaLadas]

haz un video sobre las hackatones a nivel global de todo tipo no solo de hacking

[@aranoliveras]

Muy buen trabajo todo el año! A mi lo unico que me faltan son más videos 😂😂. Lo que me esta encantando también es el hilo de twitter, o X, con todos los avances del año en distintos campos, muy buen resumen del año, muy impactante. Espero que el 2024 siga así de bien!!🙌🙌

[@ranua9327]

Feliz Navidad y feliz año nuevo Sobre el formato: No hagas lo habitual de trocear un video largo para hacer muchos cortos. Hazlo al revés, compón un montón de videos cortos que, encadenándolos con escrol, harán uno largo. A priori parece mucho más trabajoso, no sé si merecerá la pena, pero el intento sí.

[@PedroRVFG]

Palabras bonitas ❤❤ Feliz Año Nuevo! 🎉🎉 Esperemos otro año lleno de avances y buenas noticias en el mundo de la inteligencia artificial

[@nobuluis3162]

Carlitos habla sobre la arquitectura Mamba, vi que X que hablan de ella y es mejor que los transformers

[@Nicolas-xt3mi]

La verdad que 2023 ha superado todas las expectativas y ha sorprendido bastante. Agradecer a dotcsv por el asombroso contenido de calidad, y espero que 2024 traiga las contenido al canal y por supuesto más avances

[@ElDeiff]

Feliz año a tod@s 🎉 Carlos me encantaría ver más contenido de como aplicar la IA en los procesos convencionales de una oficina y una empresa de software con casos prácticos. Felicidades por la progresión del canal, ha sido un año épico ❤

[@wordofgod3629]

Por fin, con la comunidad tan grande que hay detrás de los diferentes LLM, no se como no has hablado antes y hecho tutoriales para la gente casual.

[@illuminatiwave8093]

Cómo que no xD Tiene un canal dedicado para eso (Dot CSV Labs)

[@ElboxD]

En qué planeta vives?

[@عبدالرحيمعبدالرحيم-غ5غ]

Carlos. Eres una máquina. Te sigo desde Marruecos desde hace 3 años. Todo lo que sé de la IA lo he aprendido en este canal. Gracias, gracias y mil gracias :)

[@pedrorodriguez4474]

Es un robot,no sabia

[@CodahWasTaken]

No puedo creer que alguien use bien los términos mil millones y billones!

[@jose6433]

Luego de un tiempo me han surgido varias interrogantes: ->Quieren hacer todo en OpenAI, eso va a terminar mal (El que mucho abarca poco aprieta) ->Cada token es computación, supongamos que te computan cada respuesta, el gasto debe ser tremendo, considerando el largo de las respuestas .. a menoooooos, que las respuestas sean malas, porque usan rags de respuestas ya resueltas y las presentan como primera respuesta, para que luego el usuario solicite más información. ->Como decían por ahí, quizás el costo de los 20 dólares o precio por token se va a quedar corto en poco tiempo ->Creo personalmente que lo mejor es combinar la potencia de los GPT de OpenAI con los open source, grandes cosas se podrían hacer.

[@Diserpier]

La segunda opción es lo que estoy detectando de semanas para acá. Las respuestas son tan malas que realmente necesito solicitar dos o tres veces para obtener una respuesta de alta calidad. Es necesario casi siempre darle click en el pulgar abajo en la respuesta para obtener otra un poco más deseable.

[@WeisserAllan]

Me llama la atención que, buscando videos tuyos al respecto, no tengas ninguno sobre Grok. Estoy casi seguro que sabes de qué trata y cuál es su principal propuesta de valor. Sería muy bueno que pudieras lanzar uno sobre esa ia

[@daironperezfrias7819]

@DotCSV Tengo una duda desde mi ignorancia, no podrian poner los modelos por modulos. Es decir, Mixtral-programacion Mixtral-medicina Mixtral-.... y que uno solo levante el de programacion si es el que necesita ??

[@yoverale]

Seria muy interesante saber entonces cuales son las areas de expertise de cada sub-modelo para poder explotar mejor su potencial a través del prompt, no? Hay algún indicio sobre como esta formada la “caja de herramientas”(cada experto)?

[@danielrico]

Geniales tus vídeos! Gracias por enseñarnos todo este mundo nuevo 😊. “Entre más…” no, mejor “cuanto más…” 👌🏼

[@valeroandreu]

Gracias CSV por tu increible trabajo, si se puede pedir pues me gustaria ver más videos sobre bioinformatica? Como el de alphaphold? Aunque los directos y los videos de analisis son geniales todos, haz lo que quieras yo los veo todos siempre

[@gordonfreeman7738]

Adelante Carlos!! Gracias por toda tu labor de divulgación. 🎉🎉🎉

[@ManuelJimenez1]

*Feliz año Carlos* vamos a por un año que va a ser la 0stia, vamos a verlo entre todos

[@hbbb6360]

Solo espero poder seguir aprendiendo contigo. Gracias por el contenido, me pareces el mas grande en este nicho y lo unico que se me ocurre es mas frecuencia de podcast, charlas, ivox, youtube...🎉🎉🎉 lo que sea. Que seas muy feliz el año que viene!

[@drodesignarts2663]

Muchas gracias a ti y a todos los que hacen posible tu excelente canal. Feliz Año Nuevo…!!! 🎉 Maravilloso divulgar lo que cómo humanos somos capaces de crear …“un yo artificial”… Gracias!!!

[@CactusTwo]

Muchas gracias por el video. Logras explicar un tema complejo para público general. Me suscribo. Saludos desde Chile✌🇨🇱🇪🇸

Feliz año Carlos (saludos desde la Patagonia Argentina). Nos conocimos en el evento de inicio del Master en IA en Madrid.

[@manuelsanchez4093]

¡Feliz Año 2024 a tod@s! Carlos (CSV), muchísimas gracias por todo lo que nos has enseñado este 2023 y anteriores. Esperando tus próximos vídeos. Saludos.

[@Candela-zw2zm]

Carlos, joyazas tus videos. (por ahora) me resta saber qué herramientas utilizas para graficar y animar tus videos, me serviria muchisimo para presentaciones, si te gustaria compartirlas. Gracias desde ya!! Abrazo y saludos

[@GladysArias-wh9gg]

Muchas gracias por el tremendo aporte de este canal!!! Y también gracias por apoyar a las comunidades Open Source :-) Lo que más me interesa ver este año son los avances en las comunidades Open. Cada nuevo video es un precioso regalo de conocimiento, se agradece el esfuerzo Carlos

[@zutamy]

Muchísimas gracias por el vídeo Dot! Otra joyita como de costumbre, un abrazo bien fuerte hombre ❤

[@agnosticoparatodo]

Carlos. ¿Cómo se puede hacer un MoE con la I.A. llamada SOLAR?. Feliz Año Nuevo a todos los que participáis y comentáis en el canal.

[@topeganso]

Muchas gracias por tu trabajo, un año apasionante de la mano de Dot CSD - Feliz 20IA

[@Miguel-ev1dm]

Gran 2023 para la IA y seguramente 2024 nos siga sorprendiendo mes a mes. Los vídeos siempre de 10, para este nuevo año molaría quizás algún tutorial más de Open Source y Colab, por el resto seguri trayendo la actualidad de la mejor forma como sólo tú sabes hacerlo. FELIZ AÑO 2024!! 🎉🎉

[@andresyenes7261]

Excelente video! Me hubiese encantado un video tuyo usando Gemini Pro, para ver que tal te parece en comparación con Chat GPT 3.5

[@williamarellano4008]

Feliz Año Nuevo mi estimado Carlos y al equipo de dotcsv. Gracias por todo el contenido del 2023. Saludos desde Lima - Perú.

[@sniperdaoud]

¡Muchas Gracias, el mejor video de 2023😎!

[@aroagranadospsicologia]

Woow me flipan tus vídeos qué currada y que bien explicado.

[@marianogomezdeoliveira3492]

Feliz Año Carlos y toda la Comunidad!!!!!por un 2024 lleno de sorpresas en este mundo apasionante!!!!

[@theghost2504]

Hola, una pregunta solo se puede actualizar a chatgpt4 en dolares?

[@omar2886]

Oye Carlos, me molesta la puerta del cuarto tan vacía, porque no pones una foto de los reyes o del Fary?

[@johangilcesreyes3543]

Como puedo usar mistral o llama2 para un proyecto a producción?

[@efrainsznajder8061]

Muchas gracias por tus excelentes explicaciones, admiro tu capacidad de hacer evaluaciones comparativas de los distintos conceptos que este año aparecieron uno tras otro y no te han dejado descansar un solo día! Feliz 2024.

[@AnM-of4wz]

¡Gran año realmente! Amo la tecnología y a este canal por su contenido de calidad. Thanks Carlos! 🤟

[@gustavocazall2282]

Óptimo video. Inteligente. Gracias. Feliz y luminoso 2024.

[@juangomez4407]

Excelente vídeo Carlos. Agradecido por la información y por tus análisis tan asertados.Feliz Año 2024

[@aurejavier]

Feliz año a todos y gracias por este video 🎉

[@StaMariaRock]

Tengo una duda, que diferencia existe entonces entre un modelo Modular, un Ensemble y un MoE? en la teoria se parecen bastante

[@CppExpedition]

Hay que preguntarle a chatgpt

[@nicolasbatistoni2036]

Qué buen divulgador 🧠 gracias por tu gran aporte!

[@WalbertoFlores]

Siempre es una gran inversión aprender en este canal. ❤

[@CppExpedition]

OMG ❤ no te puedo creer el regalito que nos trajiste! Se viene video de MOE? Como hacías antes?

[@kiubilatortuga7117]

bastante buen video puedes decirme en que parte del bloc de mixtral dice la cantidad de gb de video que necesito en mi grafica para poderlo correr en mi computador, me gustaria ver si es posible moverlo con 8gb o se necesite mas

[@h.e.c.t.o.r.]

Mas, mucho mas.

[@GRBtutorials]

Por lo menos 20GB. Aunque también puedes ejecutar al menos parte del modelo en la CPU y usar la RAM del sistema, solo que es más lento (~5 t/s en DDR5-5600).

[@manuelmantero3219]

Feliz Año, sigue informándonos de esta manera que nos gusta tanto.

[@liadapardaa9461]

Solo digo que este canal lo va a petar este año 2024. Canal referente

[@DanielF.Chaparro]

@DotCSV mi admiracion total por poder explicar un tema tan complejo de una forma tan sensilla y didactica 👏👏👏

[@geremiasbenitez8776]

oye tienes o planeas ahcer algun tutorial de como ejecutar el mistral en local?

[@rororoble5493]

Efectivamente , una perspectiva agotadora. Animo

[@pezosfamily]

Madre mía! Cuanto se aprende con tus vídeos! Gracias!

[@spaikersnc]

Felicidades, cada vez maquetas mejor los vídeos con presentaciones.... espectacular para poder llegar a los espectadores.

[@Fitoxdxd1]

Wt fff, CSV , trae info muy valiosa, me gusta mucho, Ahora a investigar mas acerca de esto i love it

[@kirtash7922]

Seria posible de alguna forma hacer que se activen todos los agentes formulando una pregunta muy compleja de manera extraña? Por ejemplo decir: Crea un extenso poema que explique a un niño de 5 años como funcionaría la teoría de la relatividad general en un hipotético universo en el cual la fuerza de la gravedad es mas fuerte que la fuerza electromagnética. Tu respuesta sobre ese hipotético universo debe tener una base sólida, o sea, debes modificar las extensas ecuaciones que conforman la teoria de la relatividad general cambiando el valor de la fuerza de la gravedad, y basar tu respuesta en los resultados que obtengas. Además, tu respuesta debe estar escrita en codigo binario, y NO debes utilizar sinonimos ni palabras diferentes para el mismo significado; eso significa que debes utilizar siempre la misma palabra que utilices la primera vez que te refieras a algo. Por ejemplo, si dices "cosmos", tienes que seguir utilizando la palabra "cosmos", ya no puedes decir "universo" porque sería un sinónimo. Debes introducir al menos 5 figuras históricas en el poema, y un monstruo inventado. Además, el hipotético niño en cuestión es ciego y sordo, asi que asegurate de que las palabras resultantes de traducir el codigo binario del poema puedan traducirse facilmente a codigo morse.

[@germanpenalozamartinez61]

Muchas gracias por compartir con nosotros todo ese conocimiento lleno de valor y actualidad. Un feliz año, crack!

[@NPRojas]

Imposible no encontrar analogías con el desarrollo de la física a principios del siglo XX. La revolución que supuso la Relatividad General y la Cuántica me recuerda mucho a este bombardeo de desarrollos en Inteligencia Artificial. ¡Gracias por tanto, Carlos! ¡Feliz 2024!

[@racvv]

Una de las trabas más grandes de las empresas para el uso de modelos ai es el uso de la información. Este tipo de modelos que no necesitan de la nube puede darle por fin ese empujón que tanto se necesita

[@alvarodpo]

¿Funciona en GPT4 un prompt pidiendole que priorice uno de los expertos?

[@kascesar]

Aún no tienes tus podcast en amazonmusic?

[@psiciliano77]

Hola. Si me interesa tu tutorial sobre el mixtral. Como va la implementacion de estos modelos para procesadores de mac M2?

[@miguelosses]

Me pregunto si soy el unico que cree que ahora las board de PC deben traer un socket para algun tipo de procesador dedicado especialmente para procesamiento de ordenes IA (Aparte del procesador principal y un slot para GPU)

[@juanmanuelsotomayor]

Sería demasiado caro, mejor usar la gpu para procesamiento de IA

[@splolier101]

creo que hay que crear hardware y software que giren en torno a la ia, por ejemplo el humane Ai Pin va en esa direccion

[@juanmanuelsotomayor]

@_Elian pero sólo sería barato una vez que sea desarrollado el Hardware de procesamiento del que habla el muchacho del comentario, mientras tanto es más sencillo y barato utilizar GPUs o alquilar a través de los diferentes servicios tiempo de procesamiento en centros de datos. Otra alternativa sería desarrollar ASICs o FPGAs cómo un periférico nuevo que se conecte por USB o red y entrene alguna IA

[@ivekmartinez]

De echo los procesadores ya traen esos módulos Core especiales para IA, los arm sobretodo para los móviles, y las generaciones nuevas de Intel y ama para Laptop y escritorio

[@royendershade8044]

Ingeresantisimo. Y da gusto que traduzcas bien los billones que hoy dia...

[@jrcastle]

Deseando ver ese vídeo demostración de Mixtral, sería una gran forma de comenzar 2024

[@leonardosandoval3441]

QUÉ PASO CON INTERACTUAR CON VOZ, VI UN VIDEO SUYO Y DECÍA QUE EN 2 SEMANAS (NOVIEMBRE) CHATGPT PLUS TENÍA LA POSIBILIDAD DE DIALOGAR Y PONER IMÁGENES, PERO ENTRA UNO A LA APLICACIÓN Y LO NIEGA???????NO ENTIENDO

[@marcoibanez15]

Espectacular video para fin de año, Feliz año nuevo.

[@javierlucchesi4257]

Feliz Año Nuevo!!!!

[@jasom01]

Pero tío, qué habilidad tienes para crear hype. Estoy ya que no puedo maaaas. Quiero ver qué hace el mundo OpenSource

[@daniellizarbe2591]

Feliz año al mejor canal de KZbin! 🎉

[@carlos-garcia.]

Oye dot, todo muy bonito pero sabes algo de lo q están haciendo los chinos¿ me parece raro q no salgan noticias de AI de China que opinas¿

[@Arion-tt8ju]

Feliz año¡¡¡que ganas de un video como este de IA que no te vendan un curso en cada frase, gracias por ese contenido n1

[@leonardox222]

@DotCSV eres la caña. Me encantaría que hagas un analisis del nuevo modelo chino QWEN, dicen que es superior a ChatGPT en algunaas cosas O_o. Feliz año!

[@rafaelpriegogarcia336]

Muy bien, gracias por la información 👏🏻👏🏻

[@Andrealuscky]

Muy bien explicado , mil gracias por tu trabajo divulgativo

[@soyaficionado]

Por eso son importantes los prompt, para activar los MoEs correctos.

[@ZorMon]

Pues yo no tengo mucha idea de machine learning pero ya supuse que detrás de chatgpt (y de Bing chat, y de otros tantos) tenían que haber varios modelos especializados. De hecho esto es muy fácil de ver cuando usas el chat de copilot que se basa en gpt4 pero está especializado en programación: responde muy rápido y muy exacto pero solo sabe hablar de programas, si le intentas hablar de otra cosa parece un robot sin alma. Imagino que Microsoft habrá cogido la parte de gpt4 que le interesa para copilot.

[@andy-moggo]

excelente video, gracias por compartir tus comparativas son muy acertadas

[@maxpower1479]

Y de paso una vez logrado su objetivo Mistral. Pronto (en menos de 3 meses) tendremos GPT4 turbo. 😀

[@otronomas]

Después sacaran no solo 8 expertos como Mixtral, si no conjuntos de expertos 2 o 3 expertos en cada área, y también para otro tipo de IA's como las que generan imágenes, imagina un experto o un conjunto de expertos generando "manos" antes de darte la imagen final, se viene poderoso el 2024 💪

[@alvarobanegas8912]

que locura de video, gracias por enseñarme tanto.

[@TheRubi10]

Y qué diferencia habría entre un modelo MoE y los modelos multimodales como los de Gemminis?

[@ElGranProposito]

Gracias por todas tus explicaciones

[@alfonsoboullonsabin99]

Excelente explicación. Gracias!

[@juanlumunoz67]

Excelente video para acabar el año. Esperando con ganas ver qué nos depara el futuro próximo (y cómo nos lo cuentas tú) :-).

[@martg0]

are you using MoE architecture? ChatGPT No, I'm not using a Mixture of Experts (MoE) architecture. I'm based on OpenAI's GPT-4 architecture, which is an advanced language model designed for a wide range of text generation and understanding tasks. GPT-4 is a large-scale transformer-based model, but it does not utilize the MoE approach. MoE models involve a system where different "expert" networks handle different types of tasks or data, but GPT-4 functions as a single, unified model. My responses are generated based on the training and algorithms inherent to the GPT-4 architecture.

[@DotCSV]

Jejeje la M de MoE es de "mentiroso"

[@martg0]

@@DotCSV 🙈🙊🙉😂

[@chullaceja8396]

feliz año dot un abrazo. Éxitos en tu divulgación científica. Que Dios bendiga nuestra disciplina este 2024

[@Equinoxio]

Feliz Año, gran trabajo!

[@losmuppets100]

Feliz año nuevo

[@germanvoss2609]

Hola, alguien sabría explicar de manera técnica por qué los pesos del modelo o todos los Experts del mismo deben estar cargados en memoria aunque se utilicen solo 2 por ejemplo? Me interesaría saber, graciaaas! :)

[@aaronquispe3222]

Feliz año y gracias ❤

[@dax_161]

¿Como se llama el video donde el chico cambia la pcb de google por una echa por sí mismo?

[@steveallice]

Ultimo video del año te quiero maestro ❤ gracias

[@NortfixArgentina]

¡Gracias!

[@rodolfogalofre-gl9lw]

Amo este canal, loco! Explicas de maravilla!

[@saulblancotejero8298]

Sigo esperando a que hables de Perplexity en algún vídeo 😢

[@SEOcretario]

Carlos, yo al 2024 solo le pido que no sean ICE "motores de combustión interna" y *sean directamente eléctricos* ⚡😝mucho más rápidos, potentes y ecológicos, Feliz Año y cuídense 🎊🍾

[@GRBtutorials]

Cabe mencionar que puedes ejecutar el modelo en CPU con la RAM del sistema si no tienes suficiente VRAM. Yo lo probé con Mixtral GGUF Q3_K_M (que cabe en 20 GB) y en mi DDR5-5600 (dual channel, 90 GB/s teóricos) se ejecuta a unos 5 tokens/s (igual que los 7B).

[@fareedalsahafalvarez4946]

Cuando he visto lo del MoE me ha venido a la cabeza la Teoría del Cierre Categorial. Habrá que ver qué implican esas fronteras entre expertos..

[@123456789santia]

Dot CSV pero explicame quienes trabajan en OPEN AI? Ingenieros en qué? Cientificos de datos? Estadistas? Matematicos?

[@AndreaMontes_]

Feliz año para ti también Carlos. En este canal me siento tan feliz de ser ñoña y eso es algo por lo que siempre te agradeceré ❤

[@israelmorales8612]

Gracias por todo Carlos, eres grande feliz Año nuevo!!

[@grcosentino]

Feliz año maestro!!! Muy bueno desde Argentina!