DL2022: Рекуррентные нейросети (часть 1)

Курс "Глубокое обучение (Deep Learning)"
страница курса: github.com/Dyakonov/DL
автор курса: Александр Дьяконов (dyakonov.org/)
В этой лекции...
RNN (базовый блок).
RNN: обучение.
RNN: как решать задачи классификации.
LSTM.
Забывающий гейт (Forget Gate).
Входной гейт (Input Gate).
Обновление состояния (Cell update).
Выходной гейт (Output Gate).
Gated Recurrent Unit (GRU).
Метод форсирования учителя (teacher forcing).
Scheduled sampling.
Двунаправленные (Bidirectional) RNN.
Глубокие (Deep) RNN.
Глубокие двунаправленные RNN.
Многонаправленные RNN.
Пиксельные RNN.
Рекурсивные (Recursive Neural Networks) НС.
Exploding / Vanishing gradients.
Особенности регуляризации в RNN: Dropout.
Особенности регуляризации в RNN: Batchnorm.
MI (Multiplicative Integration).