Лекция. Контестные эмбеддинги. Word2Vec.

[@ilona7051]

Какое мастерство!! Кристально ясная подача материала. Столько роликов просмотрела, но только после Вашего объяснения все стало на свои места. Спасибо!

[@РоманПеликан-щ6ч]

Прекрасный лектор, прекрасное объяснение и прекрасная презентация. Спасибо!

[@AskoLd1ee]

Татьяна - вы прекрасны! Спасибо!

[@Enerdzizer]

Отличное объяснение, структурированно и лаконично🎉 ну и естественно приятный лектор) пс в 16:01 все таки не вектор столбец умножается а вектор строка..

[@АндрейХохлов-ц8ж]

лекция огонь! на одном дыхании!😃

[@EsinaViwn9]

Очень хорошо объяснили

[@astma6140]

15:46 как вектор размера nx1 умножается на матрицу nxk? Ведь для перемножения кол-во столбцов первого должно быть равно количеству строк второго. Не понял этот момент

[@乇乇尺卂乇几尺乇尺]

Очень хороший материал, но лектор слишком красивый.

[@jewgenijmoldawski3306]

Почему-то в playlist "Deep Learning: часть 2. Обработка естественного языка. 2023 год" этот ролик на 4-й позиции, хотя должен быть на второй.

[@DeepLearningSchool]

поправим, спасибо

[@sergeysosnovski162]

@@DeepLearningSchool Когда ?

[@mihailnikolaev1561]

Спасибо за лекцию! А при обучении word2vec 15:15 мы может использовать сразу сравнивать вектор из НС с вектором с несколькими единицами (несколькими словами), а не по одной единице и соответственно слову?

[@danil-old-web]

Почему так мало видео на русском про данную тему. Вообще-то это единственное видео которое я нашел об этом.

[@damirtenishev6874]

Не совсем верно (21:50), что чем больше embedding, тем больше смысла он может содержать. До какой-то степени - да, потом - скорее всего, полезность будет расти медленно с ростом k. Интуиция подсказывает, что - логарифмически ассимптотически приближаясь к какому-то пределу. Либо при k равном размеру словаря, либо, при более сложной обработке при исчерпании информации в тексте. Интересно, есть ли исследования, показывающие на реальных текстах зависимость результативности и правильности обучения от величины k? Было бы интересно изучить. Всё-таки k сильно влияет на ресурсы на больших текстах.

[@user-danche]

А что из себя представляют матрицы A и B, как определяются значения в строках, столбцах?

[@ЛазаревАлександр-ф7ь]

они выучиваются с помощью градиентного спуска

[@artem5753]

Было сказано, что i-тая строка матрицы А является эмбеддингом входного слова, а j-тый столбец матрицы B эмбеддингом контекстоного слова, но как получаются то сами эти эмбеддинги? Как они расчитывается?

[@me_andrei]

в процессе обучения сетки

[@Arseny150]

У машины бывает рама, только она мало кому видна и уж тем более мало кто красит ее в красивый белый цвет :)

[@sergeyivzhenko4299]

У рамного авто есть рама. А у автомобиля с несущим кузовом рамы нет

[@АндрейКениг-б6д]

Поясните, пожалуйста, почему на эмбеддингах работает векторная арифметика (например, королева = король - мужчина + женщина)? Из того, как мы их получили, следует, что в них закодирован их контекст, поэтому эмбединги похожих слов будут похожи, т.е. их косинусное расстояние будет большим. А вот то что на данных эмбеддингах будет работать векторная арифметика, мне не совсем понятно.

[@АндрейКениг-б6д]

Нашел объяснение: Alex Gittens, Dimitris Achlioptas, and Michael W. Mahoney. 2017. Skip-Gram − Zipf + Uniform = Vector Additivity. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 69-76, Vancouver, Canada. Association for Computational Linguistics.

[@damirtenishev6874]

Спасибо. Толковое и последовательное изложение. Хорошо бы добавить к этой лекции объяснение, какую именно практическую задачу мы решаем в данном случае, как это сделано у Вас в целом в kzbin.info/www/bejne/iaW9knt4g7ychdU. Там - перечислено множество задач, но в этом уроке хотелось бы знать, какую задачу мы решаем в данном случае. Инструмент описан очень хорошо, но без описания цели сложно понять, зачем выбирать именно его при наличии более простых, хорошо отлаживаемых и пресказуемых механизмов. Вопрос не праздный. К примеру, если речь идёт о предсказании текста, то возникает вопрос, чем метод цепей Маркова хуже или чем не подходит та же таблица с 3:13 ? Вы показываете сложные алгоритмы, подключаете использование нейронных сетей, которые достаточно сложно отлаживать - это должно оправдываться задачей. Если они работают лучше, чем цепи Маркова - было бы здорово показать задачу, на которой это так. Я не спорю, что Вы правы - у этого подхода много преимуществ, в том числе - в возможности расширения и гибкости, но это - абстрактные слова. Сильно поможет, если будет показана задача и объяснено, чем такой подход лучше детерминированного подхода цепей Маркова и таблицы, которую Вы предложили.

[@Enerdzizer]

А кто может пояснить почему работает арифметика сложения и вычитания с эмбедингами и при этом смысл слов соответствует ? Король женщина королева

[@Perfffffffect]

Обыскал весь интернет в поисках нормального объяснения word2vec. Ничего не нашел кроме статьей шарлатанов, которые сами не понимают, как оно работает (аля «ну я кнопку нажал и получил эмбединг»). А здесь ультрасуперское объяснение с понятной логикой и смыслом того, как это устроено!!!

[@Pcheetos]

привет красивая женщина

[@danil-old-web]

Мля, разрабы языков программирования и всяких других технологий продались дядям. Спасибо 2000х годам хатя бы дали нам PHP, Dreamweaver, Photoshop. И книги по ним печатались тоннами для любого уровня. Зажали ска рекомендации для сайтов, иначе ютубы всякие не стали бы монополистами. Сейчас мне на сайт эти все машинные куски дерьма дайте и я ваш ютуб обгоню по посещаемости. Ленивые люди привыкли что им все нейросеть подбирает и за ними мысль заканчивает.