Трансформер, часть 1. Лекция 4 по NLP

Главная нейронная сеть в мире искусственного интеллекта - Transformer. Разбираем основные строительные блоки. В следующей лекции соберем их в единую архитектуру.
00:00 Вступление
1:00 Transformer!
01:17 Архитектура Transformer: компоненты
02:54 Метод нормализации в Transformer: Layer Normalization
06:45 Блок Scaled Dot-Product Attention
21:44 Блок Multi-Head Attention
37:10 Feed-Forward Layer
Евгений Разинков -- к.ф.-м.н., руководитель отдела машинного обучения и компьютерного зрения Группы компаний FIX, преподаватель Казанского федерального университета, кофаундер и директор по науке компании Pr3vision Technologies, CEO парфюмерного AI-проекта scented.ai
Информация о лекциях:
razinkov.ai
Телеграм-канал с анонсами лекций и материалами по машинному обучению:
t.me/razinkov_ai

[@ekaterinaivanova3816]

Евгений, добрый день! На мой джуновский взгляд кажется, что не самое лучшее решение двигаться от частного к общему. Хотелось бы сначала верхнеуровнево ознакомиться с архитектурой трансформера, а уже потом углубляться в особенности. Меня спасло то, что я уже смотрела лекцию Игоря Котенкова по трансформерам, иначе я бы совсем ничего не поняла

[@razinkov]

Здравствуйте, Екатерина! Спасибо за отзыв) Если Вас интересует подробный разбор Трансформера, у меня есть отдельный курс об этом: Modern Deep Learning (2023) kzbin.info/aero/PL6-BrcpR2C5Rc1RI7Z9LHOu-lz6yNml2A

[@ekaterinaivanova3816]

@@razinkov уже в закладках, спасибо!

[@kotikGGG]

Зашло...

[@bitby1377]

13:40 по неравенству Коши-Б.-Ш. скалярное произведение ограничено произведением норм