FIDLE / Embedding et et Réseaux de Neurones Récurrents (RNN)

Cette séquence est une séquence en deux parties :-)
Nous nous intéresserons à deux familles de réseaux de neurones incontournables,
permettant de traiter deux types de données essentielles, les données creuses
et les données séquentielles.
Dans une première partie, nous nous intéresserons aux données creuses et nous verrons
comment les techniques d'Embedding ont pu révolutionner le traitement du langage naturel
et des données à très grandes dimensions.
Au menu :
- Approche One Hot Encoding et ses limites,
- Principes et mise en œuvre de l'Embedding,
- Exemples : Classification de critiques de cinéma (sentiment analysis)
Dans la seconde partie, nous étudierons les Réseaux de Neurones Récurrents (RNN),
permettant de travailler avec des données séquentielles.
Au menu :
- Principe des neurones récurrents
- Cellules et réseaux récurrents (LSTM, GRU)
- Exemples : Prédiction de la trajectoire d'une coccinelle virtuelle !
Cette séquences est un prérequis important à la séquences sur les Transformers.
Durée : 2h30
Pour rappel, FIDLE est une Formation d'Introduction au Deep Learning, libre et gratuite.
Pour en savoir plus : fidle.cnrs.fr
Cette vidéo est sous licence Créative Common CC BY-NC-ND 4.0

[@asoasogm]

Merci ! Et bravo pour la clarté

[@CNRS-FIDLE]

Merci !

[@mohamedboukrani4494]

Bonjour, merci pour la clarté de vos explications. Une question SVP, au niveau des RNNs, est-ce que la sortie Y(t) va avoir tjrs pour taille, le nombre des neurones du recurrent layer. Merci d'avance.

[@CNRS-FIDLE]

Oui, chaque unité de la cellule générera une dimension dans la sortie. Si la cellule possède n unités, sa sortie sera de dimension n.