Transformers - Attention is all you need - Parte 1

Playlist NLP
• Natural Language Proce...
Modelo de Lenguage
• Modelo de Lenguage: Ge...
Sequence to Sequence
• Sequence to Sequence (...
Attention en modelos redes neuronales recurrentes
• ¡Atención! (Sequence t...
En este video, explico el paper "Attention Is All You Need" que introdujo el modelo Transformer, una arquitectura que ha transformado el campo del procesamiento del lenguaje natural y la inteligencia artificial. Con este video empiezo una serie de videos acerca de transformers

[@albertoespinosajuarez903]

Hace muchos meses (tal vez incluso más de un año) te comenté que tus vídeos me estaban ayudando mucho para comprender conceptos de Deep Learning que ocupaba para mi maestria. Hoy ya estoy en el doctorado y sigo sosteniendo que tus vídeos y explicaciones son oro. Muy pocos canales en español tienen contenido tan bueno sobre estos temas.

[@LeonardoEnriqueMorenoFlores]

Muchas gracias, Pepe. Excelente video como siempre.

[@PepeCantoralPhD]

Muchas gracias por tu apoyo como siempre! De verdad aprecio mucho tus comentarios y preguntas, espero estar contestando esta semana. Un saludo grande!

[@colvert11]

Muchas gracias Dr. Pepe! Saludos!

[@Johan-zs9xh]

Ph.D con un canal de youtube, gracias por compartir tu conocimiento

[@PepeCantoralPhD]

Muchas gracias por tu comentario! Lo aprecio muchísmo! Muchos saludos!

[@dapa084]

Esperando con ansias este video desde hace meses pepe, muy buen trabajo, sigue asi. Esperando ya la segunda parte!!!!!!!!!

[@LuisMorales-bc7ro]

Gracias por compartir!!

[@PepeCantoralPhD]

Muchas gracias!

[@jonas1ara]

Recuerdo haber hecho un comentario hace unos dos años donde le decía que era una buena idea para su canal revisar los papers más famosos o útiles de IA, me encanta.

[@PepeCantoralPhD]

Muchas gracias! Revisar papers es una idea excelente que definitivamente estaré haciendo más seguido

[@reynaldopereira7613]

seeee por fin amo estos videos

[@toomaxtube]

_Muchas gracias, Dr. por ver este tema !!!_ _espero ver próximamente más de las implementaciones ..._

[@lautar]

Gracias por estos videos Pepe, se agradece mucho tener estos contenidos en español. Los transformers que tengo integrados en el cerebro y que me traducen las cosas del inglés se me agotan después de largas horas de exposición. Esto es un bálsamo.

[@gustavojuantorena]

Excelente!! Estaré esperando los próximos videos. Saludos

[@fabio336ful]

Muchas gracias por tu explicacion, para cuando las siguientes partes?

[@wilfredomartel7781]

Excelente video! Pero es necesario combinarlo con código y la parte matemática a lado para saber como se van enlazando.

[@PepeCantoralPhD]

Muchas gracias por tu comentario! Tengo 3 partes teóricas en la serie, este video es solo una introducción, la segunda parte se centra en explicar las ecuaciones, y la tercera cómo podrían programarse esas ecuaciones. Ademas, algo también interesante viene en otros 2 videos donde muestro con mucho detalle cómo programar el Transformer usando PyTorch y cómo implementar un traductor. Te dejo la liga al video de cómo programarlo desde zero. Muchas gracias y muchos saludos! ¡Cómo programar un Transformer desde CERO! (From Scratch!) kzbin.info/www/bejne/jpbJd51qp7F7nbc

[@wilfredomartel7781]

@@PepeCantoralPhD pase una noche maratónica viendo tus videos.

[@IATotal]

Excelentes videos!, hay que cuidar un poco sin embargo la parte del audio, un abrazo

[@PepeCantoralPhD]

Muchas gracias por tu comentario y sugerencia! Muchos saludos!

[@gama3181]

gracias Pepe. Yo nunca he entendio bien la diferencia entre encoder-only y decoder-only. he visto que todo recae en la loss mas que en la arquitectura, siendo making loss para los encoder-only y autoregressive loss para los decoder-only. otros tal vez lo simplifican mucho al decir que solo es estrictamente alguno de los dos módulos del transformer lo que se entrena. Sabes cual es la difererencia entonces? en este caso el transformer de attention is all you need es un encoder-decorer pero con un masking loss?