DL2022: Векторные представления слов и текстов (часть 1)

Курс "Глубокое обучение (Deep Learning)"
страница курса: github.com/Dya...
автор курса: Александр Дьяконов (dyakonov.org/)
В этой лекции...
Способы представления слов: классические: OHE, counts, LSA, кластеризация, LDA.
Вложение слов в непрерывное пространство (embedding).
word2vec: CBOW, skip-gram.
Negative Sampling.
Ближайшие соседи.
Операции над представлениями слов.
Fasttext.
Glove: Global Vectors for Word Representation.
Contextualized Word Embeddings.
Embeddings in Tag LM.
CoVe = Contextual Word Vectors.
ELMo: Embeddings from Language Models.
FLAIR: Contextual String Embeddings for Sequence Labelling. Представление текстов.

[@andreib8871]

Александр Геннадьевич, подскажите, пожалуйста, почему на слайде 19 вероятность считается по указанной формуле? По идее, нам нужна оценка вероятности слова_контекста при условии слова_цели, которую мы должны оценить из тренировочных данных. И тут не совсем понятно, как это коррелирует софтмаксом скалярного произведения эмбедингов.

[@egger_2283]

Здравствуйте, на 49:07 Вы говорите, что мы подаем в нейронку слова, но откуда мы получаем векторное представление для того, чтобы передать его в модель. Из того же самого ворд ту века, с которым мы потом конкатим эмбеддинг? И используем ли мы какую-то аугментацию для ворд-ту-века? Условно в русском языке можно попробовать поварьировать падеж или множественное/единственное число?

[@alexanderdyakonov8305]

Там на картинке - используется Glove-представление слов.

[@drumcord]

Спасибо большое за объяснения ) почувствовал себя умственно отсталым По сравнению с вашим уровнем развития в этой области, так и есть. Думаю тут стыдиться нечего. Наверное без знаний математики бессмысленно пытаться понять устройство LLM на примерах и упрощённых аналогиях? Всгего то пытался понять, как это "слова" шифруются в числа, и кодируются в векторные "ембединги" в пространствах и измерениях с сотнями координатных осей. Это за пределами моего понимания евклидовой геометрии. И всё через формулы, формулы и ещё раз формулы... Никакого понимания, как это шестисотмерное пространство вообразить, и какие там координатные оси...