Machine Learning 2: Architecture et Alphastar (Transformer, attention) - Passe-science #48

[@PasseScience]

QUESTION: La difficulté de cette vidéo? simple ou dure? et comparativement aux autres videos de la chaine? plus simple, plus dure? (et toute précision sur un passage en particulier si difficile, est bien venue)

[@valentinpy409]

Très clair pour la partie alphastar. Mais c'est vrai que la partie explication du transformer en particulier le zoom sur la partie attention m'a un peu perdu. Je comprenais pas très bien ce que représentais un "concept": un mot ? un caractère ? Mais sinon au top cette chaîne !

[@Naheulf]

On est surtout sur un sujet dont le développement est à la fois relativement récent mais aussi fulgurant. De plus, le fonctionnement de ces choses là me semble essentiellement basé sur des concepts théoriques relativement avancés n'ayant quasiment aucun parallèle réalisable avec la vie de tous les jours. De fait on n'a pas forcément eu l'occasion d'acquérir le socle de connaissances de base permettant de comprendre des concepts relativement avancés tels que présentés ici. Donc pour répondre à tes questions je ferais une analogie. Si l'ensemble de tes vidéos est un train, ces deux dernières sont juste un modèle différent de wagon. La différence étant que pour monter dedans on doit passer par une gare inachevée dont le quai n'a pas forcément eu le temps d'être construit. Du coup la marche peut-être un peu plus grande.

[@Naheulf]

Pour donner un avis qui est plus personnel, je dirais que, dans mon cas, le ferraillage des quais a été fait mais le béton n'a pas encore été coulé. Donc bien que j'arrive, semble t-il, à mieux accrocher que d'autres, je pars quand même d'un équilibre relativement précaire.

[@Gryffoon]

J'ai déjà répondu perso, je vote pour plus dur

[@PasseScience]

@@Gryffoon Oui et votre réponse m'a aidé à voir qu'on ne parlait pas exactement de la meme chose. Par difficulté je voulais dire conceptuellement alors que si j'ai bien compris votre réponse c'est surtout un problème de quantité et d'accumulation qui rend la video difficile, donc c'est un peu different et pour le coup je suis plutôt d'accord, c'est long et riche. Et cette seconde partie est plutôt énumérative moins vivante que prévue, mais ca prend 70h de travail largement pour faire deux videos comme ca et il est très difficile d'avoir une idée du rendu final avant qu'il soit fait, et très difficile de changer totalement une production une fois finie (je ne vais pas me rajouter 30h pour tout refaire). Bref la réponse m'a aidé et j'ai conclus que c'était surtout une voix en faveur de videos moins denses et moins longues mais pas nécessairement conceptuellement plus simples. Des sujets de prédilection ?

[@vincentcatalo9302]

Le "on ne fait absolument rien" m'a quand même bien assis... :) Du coup, je comprends un peu mieux comment on peut croire à la singularité. Et toujours de grands bravo et merci pour ton travail !

[@Otomega1]

Il nous fallait bien un petit coup de chance pour nous aider, depuis le temps qu'on cherche à faire une IA générale, merde ! :)

[@francktagne4559]

Merci énormément pour tout ton travail, tu es très bon

[@laurent-minimalisme]

ah la notif qui fait plaizzzz! :D

[@Bencurlis]

Excellent deuxième épisode! Je me demande si malgré tous ces efforts qu'on déploie à mettre au point de nouvelles architectures micro et macro, il ne serait pas finalement plus simple et réaliste de juste mettre au point une procédure d'apprentissage qui soit capable de faire émerger dans le modèle tout ce dont l'IA a besoin, mémoire, attention, contexte, planification, méta-apprentissage...

[@Otomega1]

Un cerveau finalement Le cerveau est super complexe je pense pas que ce soit qu'un tas de neurones homogènes, en gros on est peut être obligé de faire une architecture complexe comme l'évolution génétique à dû le faire. Je pense que par exemple la convolution pour la vision est déjà intégrée à la naissance, je pense pas qu'on "apprenne a convolutionner" post-naissance. Après j'en saia rien mais pourquoi le cerveau serait divisés en autant de parties dédiées à chaque fonctionnalité autrement ? L'hippocampe pour la mémoire, le lobe frontale pour le language etc.

[@Bencurlis]

@@Otomega1 Et bien le cerveau ne fait clairement pas des convolutions comme nous on en fait en informatique. Le cerveau ne reprend pas un petit groupe de neurones et le réapplique à l'image d'entrée découpée en pleins de fenêtres qui se superposent. A la place il a juste un paquet de neurones qui sont proches les uns des autres et se lient ensemble et le résultat ressemble à ce qu'on aurait avec des convolutions au sens informatique, mais le cerveau en fait "l'émulation" si vous voulez. Je pense donc que les contraintes de localités des neurones sont peut être le seul précablage nécessaire et qu'il peut possiblement faire apparaître des zones spécialisées avec très peu de "travail architectural" en amont.

[@w0tch]

Merci beaucoup de nous présenter le fonctionnement de tous ces modèles IA dernier cri, grâce à toi on sera peut-être pas trop largués quand l’IAG va arriver 😅

[@theslay66]

C'est dingue quand même. Quand on se dit que le premier microprocesseur a tout un juste un peu plus de 50 ans. Une première révolution, qui mènera à la démocratisation des ordinateurs, puis à internet. On commence à peine à réaliser à quel point cela a transformé nos vies, que déjà la prochaine révolution pointe le bout de son nez. On vit vraiment une époque délirante.

[@rodolphebobby4537]

J'ai lu beaucoup de commentaires de cette vidéo, et pour ce qui est de la complexité mise en avant je suis d'accord mais ce n'est pas un problème il me semble. J'ai un niveau scolaire plutôt moyen, niveau bac obtenu dans les années 70, mais on a tellement de choix sur KZbin que je trouve plutôt positif de pouvoir se frotter à des sujets de haut niveau. Je suis un ancien lecteur de Sciences & Vie, *revue qui fait maintenant dans l'alimentaire* , mais grâce à cette revue qui elle aussi faisait du haut niveau, je me suis maintenu à jour de pas mal d'innovation , et je me considère plutôt comme non-largué par le modernisme. Que ce soit l'ARN, décrite par le menu, la cryptographie, avec le détail sur le système RSA, ou le dernier ciseau moléculaire avec son nom à coucher dehors, Sciences & Vie m'a toujours maintenu à jour, même si c'était souvent à la limite de mes outils scolaires , mais si c'est vulgarisé, ça ne veut pas dire simplifié, et oui de temps en temps je suis largué, mais ça maintient la curiosité et l'envie de savoir. Ça met aussi à l'abri des *fakes* et m'évite de devenir un *client* (aux échecs un *client* c'est une victime) un client donc pour les rabbateurs en tous genres des pièges à c..... Donc un grand merci à ces diffuseurs de *savoir vrai* Science Etonnante, Mr Phi, Lê, et beaucoup d'autres.... Dans des domaines très variés. Imaginez pour ceux qui ne savent pas , que la seule source de connaissances avant, c'était soit la bibliothèque, soit l'école, ou sinon l'achat perso de livres.... On passait son temps en déplacements et/ou en abonnement si on voulait un tant soit peu se cultiver. C'est devenu une facilité à la portée de tous, il y en a pour tous les goûts, la difficulté c'est de choisir, mais là difficulté des contenus est signe , *au moins* , de qualité.

[@Naheulf]

Dans la partie sur l'explication du mécanisme d'attention, chaque flèche représente bien un ensemble de données élémentaires représentés par plusieurs liaisons neuronales parallèle ? (En gros 1 flèche = 1 nappe d'un port parallèle)

[@PasseScience]

Oui ca représente des données, et d'une certaine manière tant que des données ne sont pas juste binaires une donnée c'est toujours un ensemble de données. Si ce qui se trouve en face est un réseau de neurone oui ca sera des liaisons neuronales, mais de nos jours le machine learning c'est simplement régler des fonctions paramétrables, c'est à dire que ta donnée tu peux parfois aussi la voir comme un simple vecteur (ou n'importe quelle autre structure) et en face tu peux voir une multiplication matricielle de ce vecteur (ou n'importe quelle autre fonction paramétrable). Dans les transformeurs le niveau atomique c'est le token, un token en gros c'est un mot+position pour la premiere couche (après c'est ce que le réseau decide d'en faire et c'est pour ca que je parle de concept). Et un token c'est representé par un vecteur (une liste de nombres réelles ici en gros). La couche d'attention elle prend tous les vecteurs-token et les transforme (chacun en combinaison de tous), et le truc après la couche d'attention il prend indépendamment chacun et les transforme. Voir 24:06 c'est ce qui me semble le plus clair pour illustrer ce qui passe par les tuyaux.

[@axeltramaux1833]

La technologie évolue tellement vite dans le domaine de l’IA qu’il faudra bientôt une IA pour faire des vidéos youtubes de vulgarisation scientifique sur les IA à la place de passe-science. Inception m’voyez.

[@GamingDesCavernes]

Mais y'aura toujours des neuneus pour pondre à l'arrache-pouette des vidéos sur des sujets plus simples 🙂

[@tevamacadamia52]

Après, il y a plusieurs niveaux de vulgarisation, surtout pour des domaines de pointe.

[@jean-marcbereder4231]

Excellent 👌

[@lazm6047]

Tu nous régal 😁

[@pascalneraudeau2084]

Extra, comme d'hab', Merci ! . ça ressemble quand même à une démarche de théoricien de la physique, mais là concernant la recherche de la meilleure évolution, un but au sens du développeur humain. je me demande si une ia pourra finalement construire ses propres intentions ... et quel pourrait être le dessein ultime qu'elle se fixerait ...

[@oni2ink]

J'avais vraiment du mal à visualiser les transformers. La plupart des articles étant très techniques, même si le sujet traité est difficile cette vidéo permet au moins d'avoir une belle vue d'ensemble. En tout cas merci pour cette petite pépite! Sinon, GPT du coup c'est du transformers?

[@camillebrugel2988]

Oui, GPT veut dire "Generative Pre-trained Transformer".

[@oni2ink]

@@camillebrugel2988 Ok merci pour la précision.

[@cestpascatholique8672]

je suis pas trop nul en physique et je n'arrive pas à répondre à cette question : Que devient l'énergie de radiation émise dans l'espace et accumulé depuis le rayonnement Fossile. On en parle jamais ça fait une bonne qualité d'énergie La question que l'on peut ce posait est, qu'elle quantité représente elle ? En extrapolant on peut se demander quelques impact cela a sur notre univers ("créé elles une pression radiative dans l'univers? si l'univers n'es pas plat mais Rond"). Je n'est pas le niveau pour répondre à m'as question je fais donc appel à la l'intelligence collective ^^ merci infiniment bande d'intelligence collectives PS dsl pour l'orthographe je suis dislexique++ lol

[@theexit300]

l'énergie est en fait absolument gigantesque mais répartie sur la surface d'une boule. Dont il n'y a aucun centre. Notre projection est centré sur nous. Ils y a de légères différences d'un coin à l'autre de la galaxie. Le rayonnement étant une onde, je pense que tu confonds avec l'idée qu'il s'agit de particule de photon "gelée" en bordure de l'univers observable non ? Cependant rien n'empêche un amas de particule de se décharger l'un après l'autre. Sans autant dire que "rayonnement" cosmologique ça veut tout dire non ? ;) Il y a litérallement entre l'observateur et ce rayonnement une onde stationnaire. Alors tu me dis comment cela se fait que rien ne se perds ? Et bien si, mais ce n'est pas à cause de toi mais de l'univers qui se dilate, la fréquence du rayonnement pour garder son énergie "gelée" doit se réduire en fréquence (décalage vers le rouge/infrarouge/radio/etc...). Ce que tu fais quand tu observes cette onde c'est comme l'idée d'un aimant, tu balances une particule et tu regardes sa trajectoire. Sauf qu'ici tu balances un photon qui interagis avec la forme d'onde. Le photon qui te permet de voir l'onde est juste d'une certaine manière "polarisé" (bien que ce ne soit pas le bon terme). En amenant de l'énergie non pas depuis le rayonnement, mais dans ce qui va interagir avec tu peux te permettre non pas de dire que le rayonnement diminue, mais bien que son énergie augmente si tu ne récupères pas ce photon :) Et c'est là la magie de l'univers, il est "encore trop chaud", non pas car il y a ce rayonnement, mais car partout dans l'univers des soleils brulent, supernova, l'intérieur de l'univers entier l'empêche de se refroidir. (Cela pourrait d'ailleurs concorder avec l'idée de gravité entropique qui empêcherait l'expansion d'être bien plus rapide).

[@maxencebolzten4931]

Et si c'était nous les I.A. et là tu nous entraines...

[@romainroussel6172]

;)

[@axeltramaux1833]

Je viens d'aller sur Dalle-e mini pour tester la génération d'images à partir de texte... c'est vraiment pas génial. Après mures réflexions, il semblerait que les images montrées par google soient les "meilleurs résultats" mais que 99 % des créations soient un peu toutes pourraves... ça rend les IA bien moins impressionnantes si c'est bien cela...

[@PasseScience]

Oui et non, oui car il y a un effet de filtre, les gens montrent ce qui les frappe, non car dalle mini (petite réplication de la communauté) n'a rien à voir avec dalle-2 (open AI).

[@axeltramaux1833]

@@PasseScience Ah d'accord. Bon après des trucs comme AlphaFold, Science étonnante avait résumé ainsi "Quelque soit la manière dont on prend le problème, il faut se rendre à l'évidence : AlphaFold a cassé la baraque" J'enchaîne sur un autre sujet : est ce que vous pensez que les avancées spectaculaires en machine learning pourraient permettre à ITER (ou autre réacteur de demonstration) d'atteindre le break even ?

[@Gryffoon]

Ces vidéos deviennent de plus en plus compliquées ce n'est plus vraiment de la vulgarisation mais des cours

[@David-rb9lh]

C’est vrai que ça se complique mais ça reste de la vulgarisation par rapport à un article scientifique.

[@Gryffoon]

@@David-rb9lh écoute je suis informaticien et j'ai rien compris ça n'est déjà plus de la vulgarisation

[@David-rb9lh]

@@Gryffoon Oui je suis d’accord. Disons que c’est un peux le même format que certains blog qui ne s’adresse pas spécialement à des néophytes.

[@Gryffoon]

@@David-rb9lh si tu compares avec ses anciennes vidéos c'est carrément pas la même chose

[@PasseScience]

@@Gryffoon Pour le coup je suis d'accord que c'est difficile, mais par contre en désaccord total avec le fait que ca soit nouveau, la chaine a toujours proposé un contenu difficile, et parfois (mais c'est l'exception) des trucs tout public. Je considere que ca reste de la vulgarisation dans le sens ou c'est une echelle, un truc qui permet de partir d'un certain niveau et d'aller à un certain autre niveau d'une maniere beaucoup plus rapide qu'en faisant soit meme des recherches. Et ca a toujours été volontaire sur la chaine de m'addresser à un public qui a deja une certaine connaissance vulgarisé, c'est ma niche, ammener ces gens plus loin car des contenus de vulgarisation simpliste il y en a deja plethore.

[@bernardjacob3118]

Montre tes codes, sinon, fermes la !

[@PasseScience]

Mais que veut dire ce commentaire? je veux dire sémantiquement parlant, vous cherchiez à dire quoi ou demander quoi?

[@tevamacadamia52]

@@PasseScience Je me pose la même question. Si je prends cela au premier degré, il semble remettre en question la légitimité de parler d'un tel sujet si l'on est pas soi-même acteur dans cette spécialité. C'est assez déroutant comme façon de considérer les choses.