No video
DL2022: Языковые модели (часть 1)
Рет қаралды 1,235
2 жыл бұрынМоделирование языка (Language Modeling).
Параметрическое оценивание.
Немарковские модели.
RNN-моделирование языка.
Подходы к генерированию. Beam Search (метод луча).
ULMfit.
ERNIE (Enhanced Representation through kNowledge IntEgration).
GPT / GPT-2 / GPT-3.
@andreib8871 6 ай бұрын
Александр Геннадьевич, добрый день! Вопрос возник по слайду 45. Я правильно понимаю, что при обучении сети GPT2 как раз использовался язык MQAN? Этот набор «команд» при обучении был ограничен? Сложно представляется, как модель смогла научиться отвечать на любой вопрос …
@alexanderdyakonov8305 6 ай бұрын
Нет, как раз не был... поверить действительно сложно, но она и не научилась идеально отвечать. Скажем, сколько будет 2*2 - отвечала, а 3*12 - ошибалась. Вот уже потом GPT3 тьюнили "под надзором людей": arxiv.org/pdf/2203.02155.pdf И она уже очень неплохо отвечала!
@rivkastep9697 2 жыл бұрын
can you share video about recommender systems from your previous course , please ?
Дима Масленников
Рет қаралды 6 МЛН
RationalAnswer | Павел Комаровский
Рет қаралды 1,2 МЛН
Web Conferences Amsterdam
Рет қаралды 7 М.
Vert Dider
Рет қаралды 1,8 МЛН