Александр Геннадьевич, подскажите, пожалуйста, почему на слайде 19 вероятность считается по указанной формуле? По идее, нам нужна оценка вероятности слова_контекста при условии слова_цели, которую мы должны оценить из тренировочных данных. И тут не совсем понятно, как это коррелирует софтмаксом скалярного произведения эмбедингов.

Нашёл простое визуализированное объяснение, в виде графических абстракций, на канале "Google for Developers" Название: A.I. Experiments: Visualizing High-Dimensional Space Если не удалят - ссылка будет в комментарии ниже. Я смотрел через яндекс браузер с переводчиком.

Спасибо большое за объяснения ) почувствовал себя умственно отсталым По сравнению с вашим уровнем развития в этой области, так и есть. Думаю тут стыдиться нечего. Наверное без знаний математики бессмысленно пытаться понять устройство LLM на примерах и упрощённых аналогиях? Всгего то пытался понять, как это "слова" шифруются в числа, и кодируются в векторные "ембединги" в пространствах и измерениях с сотнями координатных осей. Это за пределами моего понимания евклидовой геометрии. И всё через формулы, формулы и ещё раз формулы... Никакого понимания, как это шестисотмерное пространство вообразить, и какие там координатные оси...

Здравствуйте, на 49:07 Вы говорите, что мы подаем в нейронку слова, но откуда мы получаем векторное представление для того, чтобы передать его в модель. Из того же самого ворд ту века, с которым мы потом конкатим эмбеддинг? И используем ли мы какую-то аугментацию для ворд-ту-века? Условно в русском языке можно попробовать поварьировать падеж или множественное/единственное число?

По задаче Прогнозирования визитов покупателей хотел добавить комментарий - неделя же циклична, потому считать вероятность для ПН как дня первого прихода как p1 может дать не лучший результат. Ведь за начало недели можно условно принять и ВС, и ПТ и другой день, тогда и все распределения вероятностей станут другими.

wish I know Russian...

Александр Геннадьевич! Большое вам спасибо за ваши лекции! Мне было очень интересно и очень познавательно! Спасибо за возможность учиться у вас)

Александр Геннадьевич, подскажите, пожалуйста, по слайду 13: для чего нам нужно второе слагаемое в первой оптимизации? Почему бы не убрать его и просто оставить: (1) max[E logD(x)] (2) max[E log(D(G(z))]?

Александр Геннадьевич, добрый день! Можете, пожалуйста, пояснить слайд 72. У нас есть случайная величина x, мы нашли функцию f, которая отображает “x” в “z” ( уже имеет удобное для нас распределение, например, нормальное). Но как мы получили формулу: p_x = p_z|det df/dx|?

Александр Геннадьевич, здравствуйте! Возник вопрос по слайду 48. Авторы обучили контекстный кодировщик, а как они его сравнивают по категории «Detection»? Ведь для работы детектора нужна другая архитектура, лоссы. Для классификации более понятно - можно заморозить веса кодировщика, добавить линейный слой и обучить его. А вот для детекции и сегментации не совсем понятно.

Прикладные Интересные Задачи Дата-Анализа

Но тогда и 4к должно быть меньше, т к если будет 2 или 3 то это сдвинет в центр распределение

Александр Геннадьевич, здравствуйте! Прослушивая слайд 77, решил сделать эксперимент - 4 реализации одной и той же сети : (1) сеть с nn.Parameter (2) cеть без nn.Parameter (тензоры с градиентом) (3) cеть без nn.Parameter (тензоры без градиента) (4) сеть с nn.Linear. Далее сделал одинаковую инициализацию всех сетей. ForwardPass: для всех 4х сетей совпал. Backward pass: для сети (3) упал с ошибкой. Градиенты сети 1 и 4 совпали, а вот у сети 2 получились иные значения градиента ...

Очень интересно! Огромное спасибо! ❤

Александр Геннадьевич, добрый день! Вопрос возник по слайду 45. Я правильно понимаю, что при обучении сети GPT2 как раз использовался язык MQAN? Этот набор «команд» при обучении был ограничен? Сложно представляется, как модель смогла научиться отвечать на любой вопрос …

На 49:15 говорится, что усреднение весов моделей почти всегда не работает Сейчас появилась парадигма Model Soup, которая показывает, что очень даже работает (хотя конечно это не усреднение в лоб, а есть нюансы, как модели получать) и местами даже лучше, чем ансамбли) За лекцию огромное спасибо, очень информативно!

Спасибо, очень круто!!!

Здравствуйте, спасибо большое Вам за ваш курс и за то, что Вы им поделились ) Узнаю для себя очень много нового из ваших лекций (я CV ML инженер). Спасибо большое за ваш труд, блог и потрясающие лекции. Очень нравится ваша авторская подача материала, работа с аудиторией, демонстрация основных идей и погружение в детали и нюансы.

А про какой сорев идет речь в конце, можно ссылку

Добрый день! А где можно найти вторую часть? Спасибо!

Спасибо за лекцию! Странно получается: сигмоида в качестве функции активации плоха тем, что для больших значений abs(Xij) ее производная = 0 и веса, зависящие от этой производной, не обновляются (в том числе с предыдущих слоев). А ReLU, обнуляющая градиенты, где соответствующие элементы Xij < 0 (+ часть градиентов с предыдущих слоев) - это хорошо. Хотя обе не обновляют кучу весов и еще вопрос кто больше.

Александр Геннадьевич, здравствуйте! Позвольте еще вопрос по слайду 51. Если ячейка (например, верхняя левая) не является центром какой-либо рамки, то что модель должна выдавать для нее в координаты x, y, w, h?

1:03:53 прошу прощения, не совсем понял. Если взять в качестве phi эмпирическую функцию распределения выборки различных x_i для нечетного n, разве у нас не получится медиана ?

6:14 не совсем понял, разве закон больших чисел не утверждает, что выборочное среднее является состоятельной оценкой матожидания?

Александр Геннадьевич, здравствуйте! А если на слайде 13 добавить еще одно фото, на котором котенок есть (ground true = 1), но детектор вообще ничего не обнаружил (т.е. даже ошибочных детекций там нет). Как такой пример добавить в таблицу расчета AP?

10/10

Получается, случайное кодирование категорий призвано найти возможный ординальный порядок в номинальных данных? По поводу кодирования мелких категорий в одну, а нельзя ли это как-то улучшить с помощью теории информации? Что, если в категориальном признаке только некоторые уровни несут информацию о таргете, нельзя ли все остальные сплавить в "общую категорию бесполезных"?)

@alexanderdyakonov8305, вы конечно сейчас будете смеяться, но полученный вами оптимальный порог для F-меры - совсем не случайное число; на самом деле оно равно 1 - 1/phi, где phi - это золотое сечение :)

Кстати, не ясно, почему это leave one out стратегия для target encoding может вызывать утечки таргета. Но раз катбуст-подход с expanding window даёт хорошие результаты, наверное, случайное сэмплирование N раз может дать ещё лучшее? По кодированию категориальных факторов лекция в общий доступ, видимо, не попала (

Подскажите, пожалуйста, как соотносится то, что размерности матриц W^Q, W^K, W^V не зависят от числа объектов -- s и то, что трансформер работает с батчами, "добитыми" паддингом до фиксированной длины, а не до максимальной длины по батчу? То есть по сути модель таки требует фиксированное число токенов на вход, но не понятно, почему?

Лучшая лекция по бустингам из тех, что я слушал. Большое спасибо!

Александр Геннадьевич, добрый день! Вопрос возник по слайду 20 (42:30). На самом нижнем уровне нарисован исходный тензор для предложения "The cat sat on the red mat". Судя по изображению, слова представляются векторами размерности 5. Тогда ведь свертка (красная линия) должна действовать не по строке, а захватывать всю размерность 5? (по аналогии с канальностью изображений).

На 5:57 нужно домножать не на exp(z), а на exp(z/2), тогда получается softmax(z/2, -z/2). Получается сигмоида выдаёт значения вероятностей ближе к 0.5, чем softmax.

А как увеличивать масштаб визуализации, в конце про точек?

Александр Геннадьевич, еще вопрос возник: производные dL/dw нужны нам для обновления параметров сети, поэтому мы их считаем, а для чего нам нужны производные dL/dx?

Спасибо за лекцию! А будут ли выкладываться обновленные слайды? А то в репе ссылка на слайды 20го года.

А "Self-Supervision часть 2" планируется в этом плейлисте? Так-то весьма интересная тема!

Спасибо за ваш курс лекций! ❤

Да уж...вот это класс. Есть чему поучиться )) Спасибо, для меня довольно необычная задача.

На 16:48 про генерацию некоррелирующих признаков MAD из двух видов средних подумалось провести мини-исследование: нагенерить много случайных 1d массивов с разным распределением, возможно, взять какие-то реальные датасеты, для них всех рассчитать все возможные комбинации таких средних и MAD, посмотреть, какие наиболее некоррелированы (в линейном смысле и смысле взаимной информации) с остальными того же датасета. Возможно, даже потестировать предсказательную силу таких фичей (если составить искусственные зависимости) по сравнению со случайной подвыборкой. Не знаю, можно ли тут ожидать вообще какого-то стабильного обобщения, но если такое вдруг обнаружится, это позволит в реальной работе быстро проверять экзотические "киллер фичи", до которых в конкретном проекте и руки бы не дошли.. Хм, тогда уже и комбинации математических операций полезные исследовать на 18:40.

Решил не просто лекцию просмотреть, а и понабирать за автором код в юпитере. И вот как только начал набирать так сразу улыбнулся. В самом начале, где задатся функция y, в скобочках есть sin x **2 + сos x **2, а это же единица :) итого вся функция y = sin x но это я не с целью докопаться, просто заметил :)

Приведённый алгоритм вычисления среднего Шурыгина кажется неполным. Хотел реализовать, но слишком много неясностей. (

Александр Геннадьевич, добрый день! Возник вопрос по лекции, подскажите, пожалуйста. Не совсем понятна размерность результата для dz / dW (1:02:30). Ведь если мы говорили на слайде 42 о "форме" производных: производная (число), градиент (вектор), якобиан (матрица), то для dz/dW должен быть какой-то трехмерный результат (ведь z - это вектор, а W - это матрица)? А получилось, что dz/dW = x^T.

Спасибо огромное за продолжение DL) А то я уже весь курс по 3-му разу пересматриваю - очень интересно.

Александр Геннадьевич, здравствуйте! В лекции (26:50) вы делаете допущение о нулевом смещении при линейных операциях внутри сети. Можете подсказать почему делается это допущение или где можно почитать, чтобы разобраться в этом вопросе?

Картинка справа вверху не нужна.

🥰

Александр Геннадьевич, спасибо вам за курс лекций! Очень интересные и полезные материалы! Есть ли видео лекция "Рекомендательные системы"? (нашел только слайды)

была затравка, что завтра вы проверите догадку, которой объясняете резкий отрыв по качеству предсказания у первого места лидерборда. Так как, догадка подтвердилась?

@Alexander D'yakonov Александр, спасибо за лекцию! я правильно понял по kzbin.info/www/bejne/f2HWhoiumJ6LnrM чтобы понять, будет ли наша модель работать с новыми данными, нам нужно обучить новую модель с пометками за 1 как новые данные 0 - старые, результаты которой мы будем принимать как критерий актуальности модели? или мы используем старую модель? заранее спасибо за ответ!