Лекция. Трансформеры. Positional Encoding, Decoder side, Training

[@DmitryMikutsky]

Отличные лекции) обе! Я как практикующий в этом направление был рад узнать более детально о том что творится под капотом! Формулы и пояснения - особый респект! Даже не смотря на оговорки, все стало намного понятнее!

[@LogviNata]

Эти две лекции про Трансформеры - супер! Нигде больше не видела такого подробного объяснения

[@sacramentofwilderness6656]

Послесловие огонь ~ Надеюсь, вам лекция понравилась, надеюсь, она понравилась и мне)

[@abdurahmanibnhatab1181]

"Надеюсь она понравилась и мне" ))). Если серьезно, то, Антон, у вас есть прогресс, может быть не все гладко, но лучше от лекции к лекции)

[@serjmollecule]

Антон - чемпион!

[@proskurlandsky]

Positional encoding можно представлять как часы в которых d/2 стрелок.

[@Dronzord]

Почти всё понятно, кроме позиционного кодирования. Я бы возможно добавил иные варианты кодирования для обзора и поподробнее поразбирал, может порисовал, какие-то примеры поприводил бы для малой размерности эмбеддингов и малого количества слов в предложениях.

[@blackbigdeath]

Position encoding, почему то кажется, что устроено как часы с бесконечным циферблатом. А расстояние между позициями это угол между векторами на этих часах.

[@shandi1241]

1:25 есть же слово равноудалённый, можно его использовать

[@Martin-tu4er]

а ссылку на презентацию можно?