Нейронные сети LSTM/GRU, архитектура Encoder-Decoder. Лекция 3 по NLP.

Лекция посвящена разбору нейронных сетей LSTM и GRU, архитектуре Encoder-Decoder. Сейчас LSTM и GRU не являются особенно актуальными подходами, но это исторический мостик к Encoder-Decoder и Sequence-to-sequence, а это ведет к главной архитектуре сегодняшнего дня - Трансформеру. Ему будет посвящена следующая лекция.
00:00 Вступление
04:34 Что было на прошлой лекции - кратко
05:39 Рекуррентные нейронные сети
08:17 Обновление внутреннего состояния RNN
11:30 Архитектура нейронной сети: выходной слой и функция Softmax
16:59 Архитектура рекуррентной нейронной сети
17:28 Обучение рекуррентной нейронной сети
22:07 LSTM: Long Short-Term Memory RNN
22:41 Архитектура LSTM
23:39 Архитектура LSTM: Cell State
24:26 Архитектура LSTM: Forget Gate
30:00 Архитектура LSTM: обновление Cell State
31:23 Архитектура LSTM: Input Gate
31:53 Архитектура LSTM: обновление Cell State
32:39 Архитектура LSTM-сети: Input Gate and New Candidate Values (а вот теперь, собственно говоря, сам вектор)
34:25 Архитектура LSTM-сети: Output Gate
36:04 Архитектура LSTM-сети: LSTM RNN Architecture
38:33 GRU (Gated Recurrent Unit)
38:54 Gated Recurrent Unit: GRU Cell Architecture
41:31 Sequence-to-Sequence: выдаем последовательность на основе другой последовательности
43:05 Архитектура Encoder-Decoder
57:29 Encoder-Decoder: результаты
59:16 Механизмы внимания в архитектуре Encoder-Decoder
Евгений Разинков -- к.ф.-м.н., директор по науке компании Pr3vision Technologies, руководитель отдела машинного обучения и компьютерного зрения Группы компаний FIX, CEO парфюмерного AI-стартапа scented.ai, преподаватель Казанского федерального университета.
Информация о лекциях:
razinkov.ai
Телеграм-канал с анонсами лекций и материалами по машинному обучению:
t.me/razinkov_ai

[@alexfischer7554]

Очень правильный и грамотный темп повествования, как раз для осознанного конспектирования. Преподавателям на заметку. Отлично усваивается, минимум слов -максимум смысла.

[@TheDeatgod]

02:03 Немного некорректное сравнение. Bag of word это модель представления текста для обработки. Потом к этому представлению можно применять хоть w2v, ft, хоть tf-idf и hashing trick

[@user-yd1bj3hn8d]

Привет, спасибо за лекцию! В презентации стоит 2021 год, если это уже записанные лекции, то может быть вы выложите их сразу все сюда?) Очень хочется сразу дальше слушать)

[@razinkov]

Привет! Прям разом не хочу всё выкладывать,, хочется чтобы на канале регулярно что-то новое появлялось, стараюсь 2-3 видео в неделю добавлять вместе со стримами. Могу приоритизировать NLP :)

[@user-yd1bj3hn8d]

​@@razinkov просто я очень рад, что наконец-то толковый канал нашел, так что уже хочется продолжения))) про внимание и трансформеры особенно! на русском на эти темы я как-то мало для себя полезных видео до этого находил... хотя может плохо искал)

[@ivan_inanych]

@@razinkov будет ли боевой пример применения LSTM / GRU на питоне?