Fine-tuning, RAG, Llama, prompt-engineering, LLM-арены | Что происходит в LLM

[@TheFemenistka]

спасибо! такое милое видео! звучит очень интересно, надеюсь получиться записаться на ваш курс

[@deep_school]

Спасибо! Будем рады видеть вас на курсе)

[@thirteeenth]

Супер. Благодарность до 7го неба ) А скажи , просто оч интересно , какая у тебя профильная деятельность ? чем ты занимаешься в основном ?

[@deep_school]

Илья занимается обучением различных LLM-моделей, любит распределённое обучение и нейросети, еще Илье очень нравится рассказывать об этом студентам)

[@IvanLesnov]

Как дообучить модель в оффлайне?

[@stask7258]

Срастбо.

[@internetnickname8923]

Расскажите плз, как можно слить 2 LLM в 1, если есть необходимость объединить знания обеих моделей и получить гибрид)

[@deep_school]

Есть хороший блогпост на эту тему huggingface.co/blog/mlabonne/merge-models Сливают обычно модели одной и той же архитектуры, например вариации того же Mixtral-8x7b. Делается это зачастую линейной интерполяцией весов между двумя моделями с различными параметрами. Есть различные инструменты - какие-то требуют задать параметры руками, какие-то пытаются откалибровать эти параметры проходом по датасету. В некоторых merged (слитых) моделях авторы пишут, каким подходом и какие модели они объединяли, например huggingface.co/vicgalle/Merge-Mixtral-Prometheus-8x7B Список инструментов (не полный): github.com/Gryphe/BlockMerge_Gradient github.com/arcee-ai/mergekit github.com/Gryphe/MergeMonster

[@internetnickname8923]

@@deep_school Супер) А есть способ выжать из модели полный датасет, на которой она обучалась?

[@daniyarkalmanbetov7271]

Пни если ответят плиз ​@@internetnickname8923

[@bakaai445]

Интересно

[@HeydrMustafayev-ht9fm]

Спасибо!!!

[@antonmanukyan3307]

А где цены на курс?

[@deep_school]

Запись на курс мы открываем за несколько недель до старта, тогда же публикуем изменения в программе и цены. Вы можете оставить свои контакты в анкете предзаписи deepschool.ru/llm - чтобы мы сообщили вам о новом потоке и условиях в первую очередь :)

[@fodezargames]

У меня 2080 super и 32 гб памяти, какую модель смогу запустить? так чтоб не фигня была, а чтото умела

[@daniyarkalmanbetov7271]

Gemma2 - 8b?

[@Zganshin]

У меня вообще видеокарты нет, сервер dell r430 с одним слабым xeon процом, ну и апиративы 64 стоит последняя лама от Nvidia, всё работает , но медленно , сообщение может минут 10 писать, у тебя на GPU будет в разы быстрей ​@@daniyarkalmanbetov7271

[@nz792006]

поставь LM Studio и проверь, что религия не позволяет?

[@MrGoudvin]

ролик в духе "скелетон" )

[@usersimple562]

как же заработать на макбук

[@romanbolgar]

Сколько мучений. Оно то конечно интересно но отвлекает. Как говорится сапожник без сапог. Хотя я вообще видео не делаю потому что вот из-за этого. Всё никак не найду бесплатного диктора с искусственным интеллектом желательно чтобы говорил моим голосом. Ну это опять же надо обучать. Кстати этот текст в комментарии я тоже говорю. Но это уже другая технология. Речь в текст. В принципе уже давно есть и текст в речь Тоже давно пользуюсь. Но многим режет слух Голос робота. Хотя сейчас вроде уже и голоса есть хорошие. Более того есть сервисы на базе того же искусственного интеллекта Которые видеоряд подбирают. А то тема сложная не всё понятно.