Прикладное машинное обучение 4. Self-Attention. Transformer overview

[@wadwad6571]

Лучшее объяснение трансформеров которое я когда либо видел - четко внятно и все по делу. Автор большой молодец!!

[@sharepix]

Отличная лекция! Много дополнительных объяснений о неинтуитивных моментах, которых не увидишь в статьях. И правильная визуализация positional embeddings, которую почему-то часто изображают отдельно для четных и нечетных позиций, что вводит в заблуждение. Преподаю сам. Спасибо!

[@geomirgo1849]

Отсылка на Оптимуса Прайма. Божественно

[@ДенисРогачиков]

лекция топовая, Радослав очень круто объясняет - благодарю!

[@IExSet]

Только русский скоро совсем забросит 🤣🤣🤣

[@КонстантинИсаев-л6э]

@Red_Paper6495 лол, 10 строчек на торче. что тут реальзовать-то?

[@ISandrucho]

Каждый раз слышу, будто Радослав хочет парализовать вычисления )

[@PavelLomov]

да... напомнило из Сп**дили сцену у циган про песиков...

[@dmmd5329]

Очень хорошо объясняет, спасибо большое

[@аавыф-б4о]

ухты! трансформеры - это красиво 😄 хорошая статья

[@endless-miracle]

Мне кажется, звук какой-то зашумленный, его качество хуже, чем обычно (

[@Enerdzizer]

Александра Кондратенко Чтобы не переобучиться:)

[@t561355]

Спасибо! Лектор - супер!

[@Dusha9119]

Отличный курс!

[@drVatman]

Спасибо за видео. Остался вопрос, как все эти вектора тренируются, особенно в энкодере, если у него выход завязан сразу на много декодеров и ошибку надо считать для каждого из них.

[@ferb9990]

Не могу найти материалы данной лекции и семенара на github. Может кто-нибудь подскажет, где искать?

[@IlnurFaizrakhmanov]

можете подсказать в каком видео про batch normalization говорится? искал , не нашел к сожалению

[@AcCeHu3aToP]

Хи*уя не понял. Но очень интересно!

[@kol-di]

годнота, жаль вы на ФКНе не преподаете

[@IExSet]

Перевожу с гиковского: "dot product" - "скалярное произведение", "bottleneck" - "узкое место/бутылочное горлышко", "attention score" - "уровни/рейтинги внимания"

[@andreyreznikov5999]

Добрый день, ссылка неактуальна( Есть ли актуальная ссылка ?

[@data_borodata]

Сколькож у него рубашек

[@KpaHTV]

Оптимус гэнг уже не тот

[@torcher5023]

Как раз-таки тот, друг. Или ты ставишь клоунаду выше этого божественного знания? Надеюсь, ты поумнел за 2 года.

[@vanderhuuy]

​@@torcher5023 дядь иди проветрись

[@torcher5023]

@@vanderhuuy Сам проветрись, нормис

[@romanbolgar]

Разве можно задать вопрос если практически ничего непонятно. Для того чтобы понять взаимосвязь слов в этом видео наверное надо быть самим трансформерам. Половина слов на английском, половина логических цепей скачут, упуская смысл. В общем яркий пример самообучения... Но я всё равно лайк поставлю Просто потому что Тема Очень актуальная. Хотелось бы узнать поподробнее. Чтобы кто-то рассказал более разжеванно на конкретных примерах. Где эти технологии уже применяются? Где непосредственно обыватели могут их использовать? Вот я сейчас надиктую эти слова, Можно ли задействовать здесь трансформер и почему до сих пор так много ошибок? Почему не комбинирует разные методики для улучшения распознания речи. Например чтение по губам плюс анализ произнесенного. Уже молчу О всём остальном. Где перевод на лету англоязычных видео на Ютюбе? Где нормальные синтезаторы речи? Искусственный интеллект это наше будущее это наше всё. Почему мы до сих пор топчемся на месте и никто не может реализовать массу идей которые уже от счастья реализованный но разрозненны? Когда появится язык программирования нового поколения, в виде голосовых помощников которые составляют программы непосредственно из сказанного делают то что их просят? Где в конце концов таргетированный доход о котором я написал целую статью. Люди боятся Что за ними следят в сети, но я очень сожалею что за мной следят недостаточно. У меня, Как возможно и у других, масса полезных идей которые могли бы принести миллионы и могли бы быть полезны и всему обществу, Но кто их заметит? Люди до сих пор остаются в рабстве. Огромные и людской потенциал не используется. Искусственный интеллект мог бы проводить профориентацию и автоматически Как зарабатывать самостоятельно так и давать зарабатывать другим, по принципу игры с ненулевой суммой. Но мне некогда про это рассказывать, потому что повторюсь нахожусь в социальном рабстве.

[@roll8253]

ИИ уже помог в Великобритании распределить школьников по вузам ))

[@romanbolgar]

@Сергей Михалев В смысле?

[@miremax0]

часть из перечисленного Вами есть, но платно. Я думаю, значительная часть упирается в ресурсы. Методы, о которых лектор говорит, требуют одну или более видеокарту для вычислений. Яндекс в яндекс-браузере месяц назад запустил перевод видео с генерацией речи, например. Всё развивается, но это дело нескольких лет, а не дней или месяцев)

[@romanbolgar]

@@miremax0, Удивительно но именно сегодня тоже узнал о том что на Яндексе можно переводить видео. Правда К сожалению надо ставить Яндекс Браузер ну хоть так. Буду пробовать Жаль только нету времени...

[@АлександрПетровский-я7б]

Нихрена не понятно. Формулы (типа R^...) - вообще ни к чему не привязаны!

[@rizef2166]

R^k это просто означает что мы имеет дело с вектором вещественных чисел размерности k. Если R^k×k то это уже матрица размерности k на k. Странно конечно изучать уже аж трансформеры и не знать таких вещей. Но возможно вы говорите про какой-то другой момент, я просто до конца не досмотрел еще

[@rizef2166]

То есть что h1, ..., hN ∈ R^k означает что каждый h это просто вектор вещественных чисел длины k