¿Qué es un TRANSFORMER? La Red Neuronal que lo cambió TODO!

¡No dejes de escuchar el podcast de tecnología "Cuidado con las macros ocultas" de Cuatroochenta! - 👉 www.cuidadoconlasmacrosoculta... 👈
Los Transformers se han convertido en cuestión de pocos años en la arquitectura de Red Neuronal con mayor potencial en el campo del Deep Learning. Se esconden tras GPT-3, Alphafold 2, las redes que generan arte... ¡todo! Y vamos a ver uno de los mecanismos claves tras su funcionamiento. Presta atención...
-- ¡LINKS INTERESANTES! --
► Serie Introducción al NLP y Transformers (DotCSV)
Parte 1 - • 🔴 INTRO al Natural Lan...
Parte 2 - • 🔴 INTRO al Natural Lan...
Parte 4 - • ¿Por qué estas REDES N...
►Paper - Attention is all you need
arxiv.org/pdf/1706.03762.pdf
-- ¡MÁS DOTCSV! ---
📣 NotCSV - ¡Canal Secundario!
/ notcsv
💸 Patreon : / dotcsv
👓 Facebook : / ai.dotcsv
👾 Twitch!!! : / dotcsv
🐥 Twitter : / dotcsv
📸 Instagram : / dotcsv
- ¡MÁS CIENCIA! --
🔬 Este canal forma parte de la red de divulgación de SCENIO. Si quieres conocer otros fantásticos proyectos de divulgación entra aquí:
scenio.es/colaboradores

[@DotCSV]

► Serie Introducción al NLP y Transformers (DotCSV) ⭐Parte 1 - kzbin.info/www/bejne/ipiUfp2Dfrt0qMU - Introducción a Tokens. ⭐Parte 2 - kzbin.info/www/bejne/iJy8pnuVgJx5rpY - Introducción a Embeddings. 🌟Parte 4 - kzbin.info/www/bejne/rpqcZamVn9FlbLc - Introducción a Transformers. [NEW!]

[@coolstorybro6154]

Me topé por primera vez con Transformers en un paper que se llama “Attention is all you need”🤣. Tú también ? Saludos 🖖

[@coolstorybro6154]

Mierd acabo de terminar el vídeo del todo y ya hablas de ese paper hahah

[@PedroPelaez-online]

Hola, he escuchado el podcast, y enlazedo en twitter :_ D, está muy interesante. Saliendome del tema, la web donde está publicado no tiene control de volumen y no veo como decírselo a los de 480, es un poco engorroso por que está grabado muy alto, como debe ser, y tengo que bajar el audio general, por lo que no escucho las notificaciones del sistema. ¿Podrías decírselo? Gracias. También les pase el enlace en las comunidades online donde me suelo mover :D toy deseando salga el siguiente...

[@willdome5024]

Hola asesoras sobre la compra de criptomonedas?

[@williamroberts364]

9:46 carlos de verdad tu inventaste eso?

[@sergiourquijo4000]

increible como siempre. Me duele la cabeza de pensar el trabajo que lleva hacer tantas animaciones y edicion

[@manuelantoniodiazflores8519]

INTELIGENCIA ARTIFICIAL xd

[@Jefferson4026]

En realidad el

[@eliasfarias3670]

@@manuelantoniodiazflores8519 eso venía a contestar jajajajaj

[@luisor5121]

eso depende de las herramientas que poseen, en Perú solo hay paint 🤣🤣🤣

[@ezequiellopez2947]

@@luisor5121 consulta, con que herramientas hace las animaciones, sabes ?

[@camiloribon6461]

Esta parte de mi vida, está pequeña parte, se llama felicidad.

[@darkbots5900]

De optimus prime del planeta cybertron.

[@amadeo5813]

@@darkbots5900 * Eso es de En Busca de la Felicidad

[@uriel_bot]

cuando alguien diga que la magia no existe, le encajas este video

Carlos, sinceramente creo que es el mejor vídeo que has hecho hasta ahora. A ver si haces algún vídeo jugando con transformers 😉

[@darkbots5900]

Autobots

[@Quantum_Traveler]

El mejor canal de IA que conozco, y el plus de ser en español, gracias por tanto.

[@jonathanherrera9956]

Por fin pude entender eso Query, Key y Value. Llevaba mucho tiempo intentando comprender a qué correspondían esos vectores y por qué funcionaban así. Mil gracias.

[@wilfredomartel7781]

Gracias por el video Carlos Santana!

[@johandavidboteroocampo3335]

no se nada de programación pero estos videos me encantan.

[@ingenieriasoftware7970]

Excelente video...me hizo recordar al ZEN... para despertar conciencia "Todo lo que necesitas es ATENCIÓN"...

[@lordmanorotll]

Yo: Este video me interesa mucho vamos a verlo y prestar atención. Also Yo: Mira, tiene el Coockie Clicker de fondo como yo 12:31

[@Zoorckk]

+1

[@hernan4790]

Impecable! toda la comunidad de NLP de Argentina lo agradece mucho!

[@DiegoHernandezSino]

Nah, pangolín es una palabra de baja entropía. Por ahí no se va muy lejos, hay palabras de alta entropía y para darles utilidad no sirven los diccionarios de uso, hay que tirar de semántica etimológica y pragmática. Y ahí, querido amigo, no hay 'nadie' 😉 que pilote. Estupendo trabajo como de costumbre. 💪

[@anthonyservita1491]

buenisimo Carlos muy chulo y excelentemente explicado. me gusto la parte grafica de 100 pies humano jaja

[@cognitias]

Buenísima explicación. Gracias Dot Csv!

[@wilfredomas4270]

Buenas Noches saludos tengo interes en conocer sobre AI y los vehiculos autonomos o "Drones" agradezco que puedas incluir sobre este tema en especial al reconocimiento de estructuras y quizas algo mas... gracias anticipadas

[@DavidBonelo]

El video más esperado en la historia de este canal!!

[@Eduardo-fx9ih]

muy buen video, las explicaciones me resultaron super útiles

[@Javv1721]

8:10 Épico, like para la hiperactina

[@gabrielaquinde3080]

Justo a tiempo para verlo en mi hora de almuerzo. Increíble contenido, sueño con el momento de mi vida donde tenga un profesores que explique como tu 😁

[@darkbots5900]

De la guerra de los decepticons

[@Anonymous639]

Conceptos de nuestros profesores (biyectiva, sustantivo) que nos preguntamos para que sirve, ahora en una hermosa ensalada...las vueltas de la vida.

[@covadongaperezvidal3162]

Muchas gracias, muy claro todo!

[@salvagym1]

Estupendo como siempre! Las animaciones tremendas. Gran video, si señor! 👏🏼

[@VictorAlonsoBarberan]

Muy bueno !!! Deseando ver la segunda parte .

[@Pablocanoide]

RESUMEN Premisa: Redes neuronales sencillas para analizar y generar diferentes patrones de datos: espaciales para imágenes, recurrentes para textos... Redes neuronales recurrentes: se encadena una secuencia de conceptos (una frase) agregando el valor del anterior al siguiente. Problema: conforme se alarga la cadena, las palabras anteriores pierden valor hasta olvidarse. Aparecen los transformes: Mecanismos de atención: estudiar la relación de las palabras sin importar su distancia en la cadena. Se entrena a dos redes neuronales sencillas para calcular dos descripciones en forma de vectores: Vector Key(identificador): identifica las características la palabra. Vector Query(deseo): identifica las características que busca la palabra. Se calculan la Atenciones: la compatibilidad de la dirección del vector Query de cada palabra con las direcciones del vector Key de las demás. Otra red neuronal calcula el vector Valor de cada palabra, representado de forma multidimensional. Por cada palabra se multiplica su Atención hacia las demás por los vectores Valor de éstas y se hace la media. Dando un vector Output. De ésta manera se contextualiza cada palabra en relación a las demás sin importar su distancia en la cadena, solucionando el problema del olvido Detalles: Las compatibilidades de los vectores Key y Query se pueden representar en una Matriz de Atención.

[@d33pNacho]

Suelo seguir canales extranjeros de ciencia/ingeniería con millones de seguidores. He de decir que éste no tiene absolutamente nada que envidiarles por calidad de animaciones, claridad en las explicaciones e interés de contenidos. Me alegra mucho encontrar contenidos de calidad españoles en la red.

[@NachoFR1]

Muy de acuerdo tocayo

[@echelonest]

Aprendí sobre redes neuronales en la uni y desde entonces no he tenido la oportunidad de usarlo en mi trabajo actual. Gracias a estos caramelos divulgativos tan bien hechos mantenerme informada sobre los avances en este campo es siempre un placer. Gran trabajo! ❤

[@victorvillarroel9791]

Ya. Pensando, es posible hacer un "sintetizador" o IA que pueda conseguir a través del silabario, generar palabras, luego, de eso hacer que genere tantas posibles que prácticamente se adelante a las posibilidades del mismo idioma y hacer que se pueda derivar a algo como generar dialectos artificiales (como un generador de idiomas). Añadiendo que se podría entrenar con sílabas, también con símbolos de otros idiomas, y ver toda sus extensiones, e incluso códigos o símbolos y sus complejas variables al punto (fantástico de: hacer que la IA pueda desarrollar, aprender, y reconocer idiomas perdidos en el tiempo (e incluso 👽). Sería divertido ver tal capacidad.

[@javiermartinezrossi8957]

Increíble!!! No puedo esperar a los próximos videos. Es hiper interesante, y tan bien explicado como siempre

[@miguela.maroto9226]

Muy buen vídeo. Impresionante trabajo de producción y divulgación.

[@JoseMJerez]

Increiblemente bueno!!!. Enhorabuena por semejante trabajo.

[@Eri3t5co]

Muchas gracias Dot, el vídeo es muy divulgativo. Has conseguido explicar algo muy complicado de manera sencilla. Con ganas de ver el siguiente.

[@enriquealanis6108]

Muy buen vídeo! Buena calidad y muy interesante, como siempre :) Se nota el trabajo que lleva detrás.

[@felipemosquera6553]

La matriz de atención es muy similar a la de correlaciones. Genial como todos tus videos.

[@darkbots5900]

Con optimus

[@sebastianherreragil4491]

Grandiosa explicación!! Muchisimas gracias por tus grandes aportes!!

[@mariajoo]

11:10 "Cuanto más". NO "entre más"

[@SorielKobayashi]

4:26 BotCSV insultando a la raza humana, confirmado Carlos es un robot XDDDD

[@Letshadow]

kzbin.info/www/bejne/q4WUaIpueNKLask

[@darkbots5900]

Transformers

[@MikeNapoli735]

El paper es súper difícil de entender a la primera e incluso segunda lectura, pero tú lo has explicado muy bien y sencillo de comprender, like y suscrito.

[@josedanielchacong7245]

Excelente video Dot, esperando con ansias la segunda parte

[@tunestar]

Monstruoso video!!! Felicitaciones!!

[@jamesbaxter8374]

Excelente explicación Carlos! La edición estuvo sublime hasta los detalles

[@carlosom2472]

Que gran trabajo para explicarlo tan sencillo! Muy grande!

[@tuprogresohumano]

Me gusta mucho que leas novedades de papers y los expliques de manera sencilla y entendible. Haber si públicas más contenido sobre eso. Saludos. Gracias gracias gracias

[@jesulinicoviolao6053]

3:06 el ciempiés humano, gran recomendación, debiera verse en todos los colegios, tal película junto a la del dentista y brain death son básicas para sentirse completo

[@Y0Claudio]

Genial. Quedamos esperando la continuación

[@jorgesantiago7980]

Excelente video, esperando la segunda parte!!

[@sr.montcauh6027]

Impresionante, la temática por supuesto, pero más su exposición.

[@user-D_J]

Muy educativo... Grandioso

[@antoniofrancaib]

que bueno en serio!!!!! mucho valor en tus videos, enhorabuena!

[@jaglame]

Si. Explicar el positional encoding, por favor 👍🏼

[@jmoncadagutierrez]

Impresionante Carlos!!!

[@Exequetor]

Excelente, espero con ansias el evento. ¡Gracias! :)

[@JesusMartinoza]

16:53 ¡Noo! DotCSV se está QuantumFracturizando

[@Christianlvm22]

La calidad de tu contenido es de lujo... gracias

[@manueltrujillo2735]

Mi proyecto de titulación de maestría es sobre el análisis de LOGS en dispositivos POS para identificar problemas, y se basa en esto, muchas gracias me ayudas a comprender más el tema

[@jocalvo]

muy buena explicacion, gracias !

[@EdViaja]

Wowww... Excelente video, compartido.

[@pacotapia3367]

esta fenomenal pot480, saludos

[@vicentg4829]

Este canal es puro oro. En su día cuando estaba en la carrera ya hice mi TFG sobre object detection con deep learning gracias a ti. Ahora estoy estudiando un máster en Computer Vision. Nunca pares de divulgar, tu contenido es único.

[@GustavoGomez-dn6ej]

¡Gracias!

[@ZebbasGamer]

carlos, como siempre muchas gracias!

[@ManuelJimenez1]

Muy bueno Carlos, esperamos con ansias la segunda y sucesivas lecciones. Fabuloso como siempre lo mejor en castellano. Saludos!

[@xaviercalvo1824]

Muchas gracias por tus vídeos, eres un máquina.

[@MBaltz]

Parabéns pelo seu trabalho! Vídeo com ótima qualidade!!

[@VictorAguilarDiaz]

Como siempre, fascinante.

[@1knmd]

Un vídeo tremendamente útil para entender esta tecnología. Gracias!

[@roquefacundogarcia]

A la espera de la 2da parte!!

[@homgarcia]

Muy buenos videos, sin embargo, siempre se adolece de los enlaces a los papers citados en el video.

[@conchajon]

Felicitaciones, el contenido es excelente. Nos pone a pensar

[@leok12]

Muy buen video Carlos!

[@PedroArroyoM]

Genial lo que hace estimado. Excelente sus videos :)

[@ElBronex]

Qué excelente video, muy bien explicado 👏🏻

[@LP-di1vu]

Simplemente brillante... wow 👏👏👏

[@dblazqud]

Muy interesante y extraordinariamente didáctico. Nivelón.

[@arieldg1997]

Épico! Estaba esperando este video hace rato!

[@guillermorodriguez3583]

Hola Carlos, KZbin me marco el vídeo cómo visto y no lo había hecho. Contenido genial como siempre

[@davgar1611]

Por fin alguien como me explica como funciona un Transformer por dentro. Solo tengo una palabra que decir. GRACIAS

[@darkbots5900]

De cybetron

[@oswaldogonzalez9226]

Muchas gracias bro, siempre atento a tus videos

[@waltercontacto8732]

Excelentes videos, si bien no va al código derecho esta bueno para entender de forma bien conceptual. Sin este paso no se puede entrar al código.

[@danielodar6805]

Me encantan tus vídeos bro! Saludos desde Perú :') tienes muy buena info, ojalá hubiera un listado de las IA que has explicado y qué hace cada una de ellas, para ir al video y profundizar, ya que tienes un amplio contenido y como estudiante me gustaría usarlas para investigación

[@wilfredofermin]

Excelente, le felicitó. Quien ha trabajado con ediciones sabe el gran trabajo que ha de llevar hacer un vídeo con esa calidad y atención al detalle.

[@EMPRENDERMUJER]

El mejor canal que he visto por lejos!! Los felicito por los temas que abordan y la excelente forma que EXPLICAN TODO!😄

[@AsesorJuanManuelplus]

EXCELENTE VIDEO

[@ireneperez6903]

Impresionante la manera tan sencilla que tienes para explicar algo tan complejo. Vengo de estar leyendo el paper Attention is all you need sin tener mucha idea de redes neuronales, y con tu video he entrado en contexto sin problema. Seguiré viendo tus videos sobre Transformers y RNN para situarme, espectacular

[@Darkbotsz5]

La guerra de autobots y Decepticons

[@elchristog]

Extrañaba este estilo de videos de dot. Grande!!!

[@javi_v7.0]

Gran video como siempre, ¡gracias!

[@patojp3363]

Llegué a éste canal queriendo aprender a programar una red neuronal sin saber nada de código. Y gracias al gran maestro logré ( con sus códigos ) hacer funcionar mi propio proyecto. Creo que muchos esperamos un código de transformes ( como el de las rosas ) Desde ya muchas gracias por lo que le has hecho a esta gran comunidad. Que el éxito te acompañe siempre hermano! Saludos desde Argentina

[@darkbots5900]

Autobots

[@agustinmassa4341]

Muy buen video! Increible!

[@edusflamini6757]

Increíble video!!! Lo bordas en cada entrega!!!!

[@EstebanMenti]

Esta muy bueno como siempre!!!! (lo único que es un producto vectorial y no escalar)

[@Marcgreen]

Muy buena la explicación la venia esperando

[@gazbriel]

Genial el vídeo como siempre. Un saludo!

[@ihkbkib4588]

buenísima la edición y el tema

[@eldemoledor1995]

Gracias, Sensei.

[@xXarukar93Xx]

Aunque no entienda gran parte de lo que dices, no deja de ser espectacular recibir información de tan buena calidad! por favor no dejes de crear contenido como este Bro, gracias por brindar un espacio en youtube tan enriquecedor.

[@cristianfalco9302]

Que gran vídeo!! Espero con ansias la segunda parte! Mil graciass

[@NuGeera]

El video, impresionante... tanto por el contenido como por la edición... éste canal es una locura

[@ignaciosanchezgendriz1457]

Magnífico, excelente!

[@alonsofragaoficial]

Brutal el vídeo!!! Muchísimas gracias por todo tu esfuerzo, dedicación y sabiduría 🙏🏽🙏🏽

[@ComplejamenteSimple]

Tremendo vídeo, enhorabuena!