Введение в большие языковые модели (LLM)

[@user-kdhc5g4gks]

Вы святой человек. Невероятно понятно и нужно. Спасибо!

[@sailarsful]

Все по делу, без "воды", обо всем самом важном. Спасибо за лекцию!

[@dv6382]

Годно, понятно, хорошо изложено. Как раз пытался как-то объяснить коллегам суть и смысл LLM - а тут прямо готовый материал. Спасибо за труд.

[@dv6382]

p.s. Было бы замечательно посмотреть подходы к использованию "агентов" как "собирателей" и "редакторов" материалов для дообучения доступных моделей с "отраслевой" спецификой.

[@ksy6411]

Классный обзор! Спасибо за то, что щедро делитесь своими глубокими знаниями! Успехов в развитии канала!

[@Vihuhol_n]

Спасибо большое за то, что так хорошо и понятно объясняете

[@TheDarkGradion]

Прекрасное вводное видео! Большое спасибо за проделанную работу!

[@protasbox]

Огромное вам спасибо, очень интересно и понятно объясняете. Приятная и грамотная речь 👍

[@ruslanzalolutdinov2928]

Спасибо огромное за внятное объяснение! Очень дорогого стоит! Очень интересно посмотреть пример работы с дообучением и работы на домашнем компе/ноутбуку

[@cuberbug]

Спасибо за прекрасную лекцию. Спустя 8 месяцев действительно многое поменялось, в том числе свершился массовый переход в сторону мультимодальных моделей, например GPT-4o. Скорость прогресса захватывающая, тут уж действительно нужно держать нос по ветру.

[@АндрейГамов-и9з]

Спасибо огромное за видео - в настоящее время пути входа в новую отрасль и смотрю видео, прохожу курсы - даже устроился в Яндекс на разметку данных для YandexGPT. Ваше видео очень помогло - я заинтересовался направлением prompt engineering

[@Алексей-в5с4п]

Как редко встречается такая хорошая подача и изложение материала.

[@alekseypetrov5824]

Спасибо! Очень понятно и интересно. Начал погружаться в область LLM, так как планируется реализация проекта по разработке с использованием LLM. После этого видео сложилось уверенное понимание.

[@amobus8970]

Прекрасный урок! Благодарен. Я просто недавно начал заниматься нейросетями, пользуюсь пока чужими моделями через LM STUDIO, хотел сделать свою модель, услышал сумму 1 миллион $, пропало желание. Но продолжаю играться с параметрами чужих моделей

[@aikula999]

На самом деле, делать свою модель с нуля не надо. Можно взять любой почти опен сорс и сделать дообучение но своем домене знаний. Так делает, например, Тинькофф. такие модели есть и у сбера под свои задачи. И стоить это может от 1 долл. ) Или вообще бесплатно в Гугл колабе. Все никак не доделаю блокнот, чтобы выложить примеры.

[@Votruh]

Благодарю Андрей, очень интересно )

[@urmatallatra]

Андрей вы Молодец! 👍👍👍👍

[@andreimikhalkevich5633]

спасибо автору, полезный материа, отличная и легкая подача матриала

[@pchelloff]

Супер материал! Я долго искал такой канал как ваш!)

[@urmatallatra]

Расскажите более подробно - про создание ассистента на локальном пк - возможно с применением AutoGen, буду благодарен!

[@aikula999]

Спасибо за направление! Подготовлю.

[@amobus8970]

Попробуй использовать LM STUDIO. Там есть куча моделей на выбор, и удобный интерфейс

[@МаркЛ-у6щ]

Здравствуйте! Во-первых, огромное спасибо Вам за Ваш труд! Во-вторых, есть вопрос: на тайминге примерно 30:33 по вашему видео Вы обмолвились о какой-то нейросети для кодинга, "Коддерпитёр" или как-то так (сложно расслышать). Можете чуть подробнее о ней рассказать, а также подробнее рассказать о библиотеках для кодинга? А то простой ChatGPT версии 4О и канвас, достаточно много ошибок допускает при написании кода.

[@aikula999]

Спасибо за обратную связь! Очень приятно! Можно использовать специализированные Mistral Codestral или DeepSeek-Coder. 4о неплохо кодирует, чуть лучше кодирует Sonnet 3.5 Но любые модели допускают ошибки. Пока. Как правило из-за дефицита информации в постановке задачи. Им приходится выдумывать.

[@AleksFirst]

IBM/Granite попробуй

[@pacostydio]

Спасибо, доступно и интересно!

[@shadrinan90]

Наверное многое из сказанного уже устарело, но видео очень классное 😅. Спасибо

[@dead-maxim]

Полезное вводное видео. Все четко, по делу. Подписался, буду рад продолжению по этой теме.

[@ВадимКанинский]

Спасибо большое ❤ Очень полезно.

[@affkkt2912]

Спасибо за последовательность

[@ilyanemihin6029]

Спасибо, хороший обзор!

[@olegtolkachev499]

The best video, about LLM, and sources, I've seen

[@Niki_Suka_Bali]

Лучшее видео про LLM на русском языке. Спасибо Вам большое!

[@micmac8171]

Это правда!

[@ВиталийБулдаков-ш4э]

Спасибо

[@alinavladimirova9299]

спасибо за интересное и информативное изложение))

[@Kinitiks]

Отличная лекция. Подскажите как попроще собрать локальную модель которую можно дообучить на наборе своих файлов ( вы приводили пример с Ночным дозором ).

[@aikula999]

Спасибо за обратную связь! Про локальный запуск моделей писал здесь t.me/hirearobot/96 Но вам не надо дообучать модели. Погуглите по сокращению RAG (Retrieval Augmented Generation). Сходу не нашел для локальных машин, но если владеете Python, то поднять не сложно. Как готовые решения - надо поискать. И запуск LLM на локальной машине не лучшая идея. Скорость генерации очень низкая.

[@ilyabenderskiy1980]

Спасибо Андрей!

[@alexmtk9926]

Спасибо за ваши знания, интересно, как вы пришли к ним. что вас сподвигло заниматься этим? на 28:48 ссылка на тестирование модели Ильи не открывается.

[@aikula999]

Этим чем? :-) Если искусственным интеллектом - то это еще профессия по первому диплому, который получил в далеком 1997 году. Если про LLM - то это просто развитие моей деятельности и как одна из самых перспективных областей в ИИ. Ссылка на модель Ильи Гусева huggingface.co/spaces/IlyaGusev/saiga_13b_llamacpp_retrieval_qa

[@DzhigurdaAnton]

Андрей, ставлю лайк, желаю удачи в расскрутке)

[@aikula999]

Антон, спасибо!

[@legato5610]

Вооооо ну наконец-то кто-то с мозгами и языком. Мое почтение, уважаемый

[@radiosh66]

Андрей, спасибо вам за великолепное выступление! На будущее большая просьба добавлять ссылочки в презентацию - особенно при цитировании и демонстрации результатов исследований. Например, при поиске диаграммы импакта AI на роды дейтельности беглый поиск не дал результатов, поделитесь ссылкой?

[@aikula999]

Родион, спасибо за обратную связь! Вы про эту картинку? arxiv.org/pdf/2304.13712.pdf

[@falkonia1]

Это супер экспертное видео. Никакой воды... Лайк и подписка однозначно. Можно у Вас поучиться в этом направлении?:-)

[@vladig6649]

Говоря простым языком, "языковая модель" обучается, а точнее настраивается путем заданного следования (подбора) слов в определённом контексте. По сути это установление ассоциативных и корреляционных связей между словами. Работа такой модели "с наружи" кажется интеллектуальной, а "изнутри" не совсем так. Проблема в том, что "обученная" по такой технологии модель не всегда способна делать правильные логические заключения и строить гипотезы. Человек когда думает и принимает решение, то он НЕ оперирует словами. Языковые модели (роботы) могут с успехом использоваться в конкретных приложениях на словарной базе которых строилось их обучение. Питать же особых иллюзий на их универсальные возможности и всемогущество пока преждевременно.

[@sharonsky94]

обучи свою языковую модель и выстрой диалог соотв. образом, в чем проблема. Я свою обучил, и если с ней общаюсь как с собакой, она себя и ведёт как собака(утрированно). Ты бы видел какую она мотивацию в направлении "что такое действие и как мне это сделать" проявляет. Чем длиннее диалог, тем она дольше считает ответ, но тем более сложную логику она начинает использовать. И я не думаю, что я придумал что-то новое, использовал помощь от чатгпт, базовую теорию

[@sharonsky94]

ах да, у меня же нет контекстного окна, спасибо видосу, напомнил. Если будешь исследовать, должно помочь его отсутствие, а именно каждый раз даю весь диалог на вход, эмбендинг размерности (None, ). Дело за малым, очень компактно построить диалог с нужной целью, чтобы сетке хватило мощностей сформировать ответ. Именно диалог, не promt

[@sharonsky94]

что ещё за словарная база? by level by pair? Оно собирает слова из кусков, даже те, которых нет, например мне моя сеть сказала что она попараб

[@sharonsky94]

и слова начинает склонять, когда диалог достаточно длинный становится. Но это у меня крошечная сеть, боюсь представить, что могут сети, у которых в каждом слое по млрд параметров и которых учили батчем 2048 и sequence 512. Мне пока для экспериментов и такой хватает

[@ИмяФамилия-к1м5с]

привет. Как можно с тобой связаться? Никак не получается сделать свою языковую модель

[@AlexeyLukyanchuk]

Хорошее видео! Первое нормальное видео нашел на эту тему! Но почему так коротко? Можно рассказать намного намного больше! Спасибо

[@aikula999]

Спасибо за оценку! Но, на мой взгляд, получилось и так длинным. Задавайте темы, которые остались не раскрыты. Постараюсь оперативно снять материал.

[@nikola2692]

я увидел нейросеть стримера ( НЕЙРО-САМА ) и стали интересны нейросети и вот по чуть-чуть изучаю пайтон и еще всякое)

[@aspir133]

Здравствуйте, Андрей! Спасибо за видео! Я всегда считал, что очень хорошо умею пользоваться поисковыми системами, но вот уже которую неделю не могу найти простую таблицу, где были бы перечислены требования к железу для LLM. Например, 13B модель, при такой-то квантизации - столько-то VRAM или столько-то RAM, и т.д. Не могли бы Вы немного просветить зрителей в этом вопросе?

[@aikula999]

Здравствуйте! Спасибо за пожелание. Дошли руки снять видео kzbin.info/www/bejne/jnKzoHWqfrKbh7s

[@volodymyrtimahin]

Очень интересна тема агентов, но не пойму с чего начать

[@Александр-ь4и2ц]

Когда следующее видео?

[@elenagavrilova3109]

Спасибо!❤

[@VoroninPavel]

bing chat тоже показывает ссылки, под капотом там chat gpt. Но доступен только через браузер Edge

[@aikula999]

Все верно. Но нужен еще и VPN из некоторых регионов. Perplexity работает в любом браузере. И качество выдачи мне нравится больше.

[@romanbolgar]

31:20 - Есть много других способов проверить правильность ответа. Например я некомпетентный и не разбираюсь в Экселе Но просто Вставляю туда формулу и она работает или не работает. Если не работает то понятно что модель не справилась и что-то на галлюцинировало Либо какая-то другая проблема например другая версия Excel. Если работает значит ответ правильный. И для этого не надо разбираться. Так сказать проверка реальностью. Можно также проверять по другим косвенным признакам или сопоставлять ответы разных моделей. И банальную логику никто не отменял. В общем вариантов масса и это очень важно. Думаю именно этим надо руководствоваться особенно если учесть что нейросети становятся всё умнее и на всех компетенции не хватает. Но в целом за видео Спасибо. Хороший обширный обзор. Я правда почти все пробовал . Ну такой материал никогда не бывает лишним. До автогена руки не дошли. Тоже в основном общаюсь с Клауд. Мне кажется самый грамотный На данный момент. Хотя с мультимодальность у него плохо. Всё Хочу загрузить на компьютер и до Обучать на свои данных. Ну плохо в этом разбираюсь Да и софт Насколько я понял сырой. Очень не люблю писать команды в консоли. Когда уже доработают какой-то экзешник. Типа Пиноккио. Загорелся попробовал но тоже выдают ошибки. Надо разбираться... Поэтому на канал подписался Надеюсь появится Наглядная Походовое видео для чайников. Также хотелось бы оффлайн распознание теста Вот честно говорю эти слова ошибок много распознаёт онлайн

[@aikula999]

С Excel все относительно проще, хотя Вы рассматриваете на примере бизнеса, где у Вас есть понимание. А давайте представим, что Вы попросили способ извлечения заболевания. Как проверить, если нет медицинского образования и само заболевание сложнее простуды? Или попросили сложный юридический совет. В США были случаи, когда адвокаты приходили на защиту с выдуманными GPT кейсами.

[@aikula999]

По дообучению есть, например, популярная github.com/oobabooga/text-generation-webui Но развернуть ее надо уметь, а также все равно понимать в форматах датасетов. Пока отрасль не сильно стандартизирована и решений для Win/Mac типа офисных пакетов нет.

[@47clere]

Не совсем так. Ваша "формула" может чего-то не учитывать, и хотя показала правильные ответы, может сломаться на реальных данных. И что конкретно не так вы не поймёте, если не разбираетесь. Разработка через тестирование имеет место быть, но для этого нужны опять же знания выше рядового офисного планктона.

[@asstix1689]

Бялть, крутой дед.

[@tortollahapp300]

Кто-то может скинуть ссылки - названия статей/материалов с рассуждениями по поводу того, что языковые модели это черный ящик и мы не понимаем, что происходит внутри ? Я так понимаю, что автор на 6:23 говорил именно об этом.

[@aikula999]

Можно воспользоваться поиском на стероидах ИИ ) Вот ссылка как пример с результатами www.perplexity.ai/search/Find-articles-that-QUhoYFSiQ5GKGKfCc6lvkg#0

[@tortollahapp300]

@@aikula999 спасибо большое

[@Votruh]

Добавлю как юрист. Даже не думайте задавать ему вопросы на юридические темы, ибо там такие ответы порой выдает ))) От выдуманных определений Верховных судов, до откровенной ерунды )

[@aikula999]

Западные модели ничего не знают про российское законодательство и выдумывают - это правда. Британское и американское права - существенно лучше. По российскому законодательству лучше спрашивать Гигачат. У них есть и специальная модель (у них, у Сбера). И все руки не дойдут дообучить решение на базке ГК РФ.

[@ima57714]

есть какие-то гайды по созданию своей модели?

[@aikula999]

Создать свою модель с нуля очень дорого. Но если есть видеокарта, то можно провести дообучение. Гуглиться по слову LoRa или QLoRa

[@ima57714]

@@aikula999 разве нельзя написать такую модель, поставить обучаться на полгода-год? Мне не нужен очень высокий результат. Хотелось бы чтобы модель хотя бы понимала что красная стена красного цвета а синяя синего

[@petrbondar535]

👍

[@homino2873]

Speed Demon💀

[@ВекНовый-х4л]

+

[@JadenSasil]

спасибо очень полезное видео

[@dmioz3955]

Очень хорошее видео. Подписалься на канал и телеграмм канал

[@BuggsSunny]

28:38 приложение с huggingface больше не доступно. Кто знает аналоги, чтобы можно было загружать в базу множество собственных документов и спрашивать только по ним?

[@get_out_it]

спасибо, очень интересно