Comprendre les Transformers et les mécanismes d'attention

[@MachineLearnia]

Quel plaisir de revoir une vidéo de ta part sur KZbin !

[@FloNocode]

En espérant que ce soit le début d'une longue série de vidéo :D.

[@elouatimohamed3792]

En manque bq tes vedio machine learnia

[@lucienkahozi3314]

nous aimerions aussi que tu fasses une video sur le sujet, ta pedagogie et tes animations sont vraiment utile Machine Learnia. Merci

[@renemiche735]

merci. J'attendais une vidéo sur le sujet en français depuis longtemps et je suis d'autant plus heureux que ce soit toi qui la traite, car tu es un excellent pédagogue.

[@arishali9248]

You deserve more views and more subscribers, I am in love with your channel !!

[@joslinmartinez9218]

Cette vidéo et le live coding que tu as fais sont de grande qualité et m'ont permis de comprendre cette architecture et la façon dont on peut coder ce genre de choses ! Merci beaucoup :)

[@jeanpeuplu3862]

13:17 : ASMR pour penser à nous hydrater ; merci 🥰

[@arminsmajlagic2907]

I'm learning french and deep learning at the same time with you :D Thank you very much, well explained.

[@sargan7851]

Content de revoir des vidéos ... et le son est super bon.

[@alh7839]

c'est si clair, bien dans les détails en expliquant bien des notions complexes, gg

[@boukaryouedraogo9554]

Bon retour Thibault.

[@laurentpourchot4649]

Hello, merci pour cette video. Un exemple avec keras (ou Pytorch) serait top :-)

[@alainrieger6905]

Merci Monsieur pour tout ce que vous rendez accessible

[@moussabamba6216]

Super vidéo et bien expliquée , merci pour ce tuto , on attend le TP

[@anthos.8097]

Le mec explique mieux que mes profs au MIT 💀

[@MachineLinguist]

Merci pour cette vidéo 🙏. C’est super bien expliqué.

[@denisbories]

Merci beaucoup pour ces explications claires 👏 Les propositions d’une séance de live coding ou une autre vidéo qui rentrerait dans les détails d’autres applications sont aussi intéressantes l’une que l’autre donc l’idéal serait de faire les 2 😬😇😷

[@abderrahmanemabroukmerabet9274]

Ce que tu fais est supe, continue c'est tres bien detaillé

[@MsBowner]

Excellent Thibault !

[@Leo-hi3to]

Content de te revoir !!

[@damienbouchabou1311]

Superbe vidéo d'introduction aux transfomers. Je suis très intéressé pas le live coding d'un transfomers en keras. Et aussi très intéressé par l'explication d'application de transformer a d'autres domaines

[@hamadoumossigarba1201]

Bonjour, Merci pour la qualité de la présentation et de clarté dans vos explications. Est -ce que le transformer peut être utilisé pour enregistrer et distribuer des données (codes imei et imsi)? Pourrai-je si possible avoir ce papier?

[@hadjerhamidou1586]

Merci pour ces explications

[@14Tyrion]

Très bon travail !! Effectivement un TP pratique serait le bienvenu =)

[@bradleyadjileye1202]

Merci pour cette vidéo

[@vincentb.8743]

Oui l'application des transformers serait très intéressant

[@ahmedel-azharjebbari8806]

Très bien expliqué !

[@arishali9248]

Amazing video, thanks for the explanation

[@hassanaghdaoui5138]

Sujet très intéressant , super vidéo

[@ElMeneniNaima]

merci beaucoup vraiment 🤍🤍🤍

[@cedricmanouan2333]

Heureux de te revoir TN 😏

[@adrien123_]

Super vidéo, sujet très intéressant !

[@lucienkahozi3314]

merci pour cette videos tres instructive bro !

[@khaberislam8957]

Merci ..

[@bekabd]

Merci

[@automatescellulaires8543]

J'adore le premier Transformers. Michael Bay is all you need.

[@walidayadi5752]

BRAVO ! Vidéo TOP !

[@soelreza1430]

Salut ! Tes vidéos sont super ! Merci beaucoup Dis moi est ce que le mécanisme d’attention peut être utilisé non pas pour le traitement de language mais pour prédire des variables numériques continue comme par exemple pour prédire le kwh d’un compteur électrique qui change toutes les 10s

[@trucsetastucesia]

salut Thibault , est-ce que tu aurais un schéma où on retrouve en terme simplifié cette suite d'opérations : prompt - token - vecteur - tête d'attention - décodeur ?

[@franklouenkam8820]

Merci infiniment😍😍😍

[@elouatimohamed3792]

Parfait 😍😍 merci bq

[@jean-marcbereder4231]

excellent

[@yacinemamdouh1271]

Je comprends pas pourquoi on a 8 têtes d'attention à 32:35 ? Merci pour la vidéo

[@benoitmialet9842]

une question qui me hante : la masked self attention ne devrait intervenir UNIQUEMENT que lors de l'entrainement, car on place en input de decoder une séquence contenant la réponse (les tokens futurs). donc, en quoi la masked self attention intervient durant un processus de génération (une fois le modèle entrainé), puisque les tokens encore non générés n'existent tout simplement pas ? Merci de tout éclairage !

[@ThibaultNeveu]

En effet, seulement utile a l'entrainement

[@benoitmialet9842]

@@ThibaultNeveu merci je me sens moins seul maintenant 🤣

[@lz8oo8zl]

Je ne comprends pas un truc. A quoi sert réellement le FFN dans l'encoder et le decoder ? Chaque token va passer dans un réseau de neurones mais je ne vois pas ce que ça apporte au modèle. Quel impact ces réseaux ont sur l'information?

[@simonarduin8600]

nice

[@elouatimohamed3792]

Et aussi il faut L'implémentation svp

[@samuelhamache103]

il a donné toutes les informations pour coder. Pas besoin de plus.

[@Saens406]

rien compris

[@WahranRai]

Affreux melange du français et de l'anglais !

[@lbognini]

Les documents d'origine sont en anglais et ce sont des concepts relativement nouveaux. Que voulez-vous qu'il fasse? Commencer par faire du boulot de traduction avant celui d'explication? On aurait bien aimé que les papers d'origine soit en français. Pour l'heure, souffrons de ce mélange.

[@blancanthony9992]

Merci