Лекция. Внимание (Attention)

Занятие ведёт Татьяна Гайнцева.
Ссылка на первую часть: • Лекция. Seq2Seq, машин...
---
Deep Learning School при ФПМИ МФТИ
Каждые полгода мы запускаем новую итерацию нашего двухсеместрового практического онлайн-курса по глубокому обучению. Наборы проводятся в августе-сентябре и январе-феврале.
За нашими новостями можно следить здесь:
Наш канал в TG: t.me/deep_lear...
Официальный сайт: dls.samcs.ru/ru/
Официальная группа ВК: dlschoo...
Github-репозиторий: github.com/DLS...
Поддержать канал можно на Boosty: boosty.to/deep...
ФПМИ МФТИ
Официальный сайт: mipt.ru/educat...
Магистратура: mipt.ru/educat...
Онлайн-магистратура "Современная комбинаторика": omscmipt.ru/
Онлайн-магистратура "Цифровая экономика": digec.online/
Лаборатории ФПМИ: mipt.ru/educat...

[@user-go9lw2fm8c]

Татьяна, спасибо, что своим качественным аттеншеном вы декодировали эмбеддинги этой темы в русский язык в форме, в которой я могу с низким уровнем потерь закодировать эту тему в свои эмбеддинги

[@aleksandrakhmatdianov8840]

Ввожу новую лемму: если лекцию ведёт Татьяна, то лекция будет отличная!

[@tatianagaintseva8701]

А все, лавочка закрылась)

[@dimka11ggg]

@@tatianagaintseva8701 Больше не будет лекций?

[@DeepLearningSchool]

@@dimka11ggg в смысле?

[@user-kp7qh4yb6m]

​@@DeepLearningSchoolну Татьяна же сказала что лавочка закрылась

[@frontal.perevody]

Лучшее объяснение для attention во всём интернете на русском и английском. Спасибо большое❤‍🔥

[@high_fly_bird]

3:24 В чём неполноценность RNN-экнодера и RNN-декодера 5:30 Общими словами: Как attention решает проблему "забывчивости" обычных rnn декодера и энкодера 8:10 Математика и архитектура, как attention помогает декодеру смотреть на всё предложение целиком и учитывать контекст 13:43 Что лежит внутри функции attention? 18:50 отступление, доказательства того, что attention действительно state-of-the-art... 20:49 Self-attention как надстройка над attention. Идея 23:46 Архитектура, self-attention в декодере. 27:06 Архитектура, self-attention в энкодере. 28:26 multi-head attention 30:00 некоторые выводы по лекции 31:00 пару слов о транформерах 33:24 Визуализация работы трансформера (гифка) 34:16 ещё один пример внимания на предложении постоянно возвращаюсь к этой лекции! Прекрасная лекторка, спасибо Татьяне!

[@MattML]

Attention is all you need ❤️

[@bondarchukb]

Топовая лекция, топовый лектор

[@user-nq5uf5kx9h]

Очень понятное обьяснение, спасибо!

[@arik9586]

Первая лекция в ЖИЗНИ, ни одно слово которой не прошло мимо ушей

[@funtastt]

Пожалуй, лучшее объяснение идеи Self-Attention, которое я нашел на русском и английском языке. Все понятно, спасибо.

[@kiryllshynharow9058]

36:06 it/il/elle это местоимение а не артикль но в целом изложение просто супер, в плане доходчивости focus Attention on the most tricky stuff is all you need

[@georgebatchkala556]

На последнем слайде можно слово "животное" заменить на слово "кошка", тогда "она" будет и про дорогу, и про кошку :) Очень классная лекция, спасибо!

[@ppronchenko]

В примере про трансформер - это не артикль. Это местоимение - il, elle (он, она). Выбирается исходя из рода существительного: un animal, une rue. Но концептуально - понятно )

[@immortalqq8243]

@DeepLearningSchool Добавьте, пожалуйста, данную лекцию в плейлист "Вторая часть курса Deep Learning School" :)

[@user-eh7me8ze8n]

Малаца, всё понятно, я доволен

[@_eleldar_]

Татьяна, а можно попросить записать видео по Transformer?

[@alexanderskusnov5119]

Почему не было связей от tired и wide?

[@Dron008]

Я б перевёл "человек с попугаем на плече зашли в бар". Попугай - живое существо, а не вещь, над о уважать его индивидуальность ). Давно хотел разобраться с вниманием и вот после этого (и ещё кучки других) видео, чуть-чуть понятнее стало. Вот по поводу self-attentions не понял. Их специализация распознавать род, падежи и прочее как-то явно задаётся при обучении (скажем, score за это) или "оно само так выходит" и как они вообще обучаются? Можно ли говорить, что attention это такой более навороченный embedding для предложений с сохранением вклада каждого слова? Или он не имеет смысла сам по себе, только для конкретной языковой пары и конкретной пары предложений? Вообще вот как хорошие переводчики переводят, они воспринимают смысл сказанного, а потом подбирают аналогичный по смыслу перевод. По словам точно нельзя переводить, даже по сочетаниям слов далеко не всегда можно. Но attention это всё-таки не совсем смысл предложения. Интересно, не будет ли более эффективным именно что-то с учётом смысла, разного рода ассоциаций между базовыми понятиями с генерацией более сложных, абстрактных. Интересно это даже не для перевода, который и так улучшился многократно, а в плане создания моделей, именно понимающих явления, способных логически рассуждать и оперировать понятиями так, как это делает человек, который научился этому, не читая все тексты интернета.

[@pavelbozin9268]

Нет, "Человек с попугаем" здесь одно подлежащее, поэтому "зашел". Если бы было "Человек и попугай на его плече", то тогда два подлежащих и будет "зашли"

[@oplesser]

А качество только такое будет?

[@TV-gf9vu]

ютуб раскодирует в очереди уже есть 1080@60

[@alexanderskusnov5119]

"скор" по-русски оценка

[@bluxer4225]

гуглА - это чтобы подчеркнуть свою причастность к узким кругам.

[@tatianagaintseva8701]

Не поняла :)

[@bluxer4225]

я простой человек и не могу панибратски говорить гуглА :)

[@tatianagaintseva8701]

@@bluxer4225 что-то я никогда об этом не задумывалась и всегда говорила "у гуглА"

[@bluxer4225]

@@tatianagaintseva8701 такому редкому сочетанию ума и красоты позволено всё!

[@tatianagaintseva8701]

@@bluxer4225 ну тагдя ладня ~(˘▾˘~)

[@alexanderskusnov5119]

Вес вообще-то не омега, а дубль-вэ.