Llama 3.1: разбор статьи. Часть 2. Architecture & Scaling laws.

[@pasha-k-ai]

Спасибо, очень информативно!

[@sergejskorohodov9201]

Спасибо за разбор. Очень мало подробных обзоров статей. Твои обзоры как глоток важной информации и многое ставят на места. Мы небольшая команда с бэкграундом в ds и мы ждём каждую твою лекцию. Пересматриваем старые. Очень много неожиданных решений приходит именно после просмотра твоих лекций, благодаря более глубокому пониманию процессов происходящих внутри моделей. Огромное тебе спасибо за потраченное для нас время. Удачи. Хорошего дня.

[@razinkov]

Спасибо, Сергей! Очень рад слышать!

[@drunja40]

Спасибо за обзор и за предыдущие лекции. Для лучшего понимания начал конспектировать bits of knowledge, что удлиняет просмотр раза в два, но, надеюсь, знания понимание задержится на подольше Не знаю пока, на сколько мне пригодится знание LLM на таком уровне, но думаю "надо одеваться на работу, которую хочешь, а не которую имеешь", да и интересно это Вообще, очень заходит, что вы пишете, чертите в live режиме, "разбираетесь" вместе со слушателями. 99% лекторов имеют готовые слайды с уже написанными формулами и за ними невозможно успеть, у вас показан сам ход мысли. а когда у самого в голове лампочка загорается - кайф! как отметили выше, погружение в глубокую математику не очень практично (кажется), вроде я и знал это все, а раз забыл, значит не очень и нужно. хочется, что называется системного дизайна, но действительно незаезженными tips&tricks редко кто делится. для этого надо практиковать в индустрии, а не просто перетаскивать по разным соцсеткам в сотый раз один и тот же материал. а здесь все же рождается оригинальный инсайт.

[@razinkov]

Спасибо, очень рад)

[@_profe_games3306]

1:43 бэкграунд есть, и даже простенькую mlp я с нуля без библиотек делал, но я не делаю каждый раз нейронки с нуля: keras или pytorch высокоуровневая штука, в которой все что угодно можно просто дёрнуть из глубины библиотеки. А вот со знанием что именно нужно использовать могут быть проблемы. Я не спорю, что с желательно знать некоторую математику стоящую за процессами (результат, а не процесс выведения, например как и где определены функции активации, чтобы понимать в каких ситуациях их использовать; или к среднеквадратичной ошибке можно было прийти логически, а не десятью минутами вышмата (это про плейлист "от основ до трансформеров")), но математику нейронок в чистом виде уже (лично я) не использую. Мне нужны знания о том как грамотно проектировать нейросети, как помогать им в процессе обучения, как готовить датасет, а все что касается бесконечной математики скрыто в библиотеках и фреймворках для машинного обучения или data science. Они как раз и нужны чтобы скрыть всю духату. Я бы не сказал, что у меня нет мат подготовки, один курс вышмата я все же отсидел, но для меня понимать все формулы, что вы пишете, сложней чем просто глянуть для интереса, и хотелось бы заменить формулы на логические рассуждения, где это возможно. Также интересны более высокоуровневые рассуждения (например в чем прикол вариационного автоэнкодера, что внутри происходит, когда применять и небольшое но исчерпывающее объяснение про принцип работы, а те страшные формулы что за этим стоят я даже не запомню, и тем более не запомню как они выводятся; хотя я их понимаю, но все равно тяжело воспринимать). P. S. Все выше написанное является моими предпочтениями и может не совпадать с мнением большинства. Возможно не все сказал, но я это комент и так полтора часа пишу и надеюсь донес общую мысль

[@razinkov]

Спасибо!