LLM. Лекция 4. Inference: обзор.

[@alkenkurmanov9339]

Классная лекция

[@razinkov]

Спасибо, я очень рад)

[@kiryllshynharow9058]

2:00 жаль, конечно, что Вы зареклись самоограничиться LLM было бы интересно, например, от Вас разбор идеи Mamba услышать разве разбор LLAMa 3.1 было не захватывающий опыт? можно конечно ответить что кому очень интересно "beyond" те сами разберутся но проблема даже не в том что сейчас слишком много всего интересного появляется чтобы все читать проблема в том что без экспертного совета проблема даже успевать понять что может быть интересно/перспективно, а что нет

[@kiryllshynharow9058]

22:40 я чуток подзапутался речь же идёт про трансформер, который (если я правильно понял) на каждом новом шаге учитывает ("видит") предыдущий сгенерированный токен (или пусть даже оценку распределения вероятностей таких токенов) каким образом мы можем заставить его учитывать температуру (подшаманить аргумент softmax?)/установить отсечку в 95% вероятных токенов? это модификация самого внутри трансформера, получается? спасибо

[@razinkov]

Да, можно сказать так. Если вы запускаете модель у себя. Но и ChatGPT при обращении через API позволяет пользователю регулировать температуру, например.