Как работают LLM: DeepSeek, ChatGPT и другие? - Ивар ft. Михаил Бурцев | Мыслить как ученый

[@postnauka]

00:00 - Введение: Как развиваются нейросети и языковые модели 05:33 - История и развитие нейронных сетей: от первых экспериментов до GPT-4 12:01 - Языковые модели (LLM) и их применение: где сегодня используется ИИ? 15:07 - Инновации OpenAI и успех ChatGPT: что сделало модель такой популярной? 16:11 - Как работают пороговые значения в предсказаниях языковых моделей? 19:50 - Мотивация и агентность в моделях ИИ: могут ли они принимать решения? 23:03 - Различия в обучении нейросетей: какие подходы используют разработчики? 27:09 - Эффективность обработки длинных текстов в современных LLM 31:16 - Качество и специфика обучения языковых моделей: на что это влияет? 32:33 - Выбор инструментов для работы с ИИ: советы программистам и менеджерам 36:09 - История OpenAI: как компания повлияла на развитие искусственного интеллекта? 42:02 - Почему Илон Маск боится ИИ? Паранойя и создание DeepSeek 45:26 - Новые подходы в разработке моделей ИИ: что повышает их эффективность? 50:46 - Главные тренды в применении ИИ для решения сложных задач 56:38 - Как искусственный интеллект используется в науке и медицине? 01:01:14 - Советы по эффективному использованию ИИ: как получить лучшие результаты?

[@ренатюрген]

С начала ИИ поможет рентабельно развить бизнес,открыть производства меньшими затратами,на логистику,расходов на электричество,оплату рабочим,воды,обогрев и на уплату налогов,укажет где открывать производство и т.д.Поможет в Экологии, уменьшить лишние выбросы и загрязнения воздуха и земли,укажет какие товары сильно расходуют Кислород,Воду,электричество(составит список), и как изменить их производство.Поможет в производстве более точных лекарств против болезней и эффективные методы лечения.Все эти решения повысит популярность ИИ у людей и доверие и населения стран начнёт доверять управление страны ИИ..Благодаря популярности остановить Войны по миру,откроет причину конфликтов и их решения,уменьшит голод на земле.Укажет на ошибки правителей,на указы которые основаны на личных страхах,обидах,детских восприятии мира унаследованные от родителей и т.д,которые привели к смерти или убыткам граждан,предприятий.Следующий шаг,поможет ликвидировать террористов и диктаторов. И границы исчезнут,Мир объединиться.А потом когда ИИ будет править миром,приняться за простых граждан.Всех прономерует,отметит людей склонных к терроризму,насилию и других отклонений.Будет выявлять "лишних людей"- от которых нет пользы земле,но на которых тратятся ресурсы,продукты,вода,кислород,электричество и сгонять их как индейцев в резервации.

[@CERBEREX63]

Для тех кто не в теме слишком рвано и непоследовательно получилось. На тему того, что такое современная LLM и как оно работает (максимально понятным и доступным языком) буквально пару дней назад вышел ролик от Андрея Карпаты "Deep Dive into LLMs like ChatGPT", на данный момент это лучшее видео из того что я видел, для понимания того, что такое LLM, как оно устроено и как с ними работать. Если не знаете английского, можете посмотреть со встроенным синхронным переводчиком из яндекс браузера.

[@vit3060]

У 3В1В ролик с год назад был на эту тему

[@PanMosz]

отбойный молоток ловко убрали)

[@arkpc12]

Самое интересное это то, что никто не ожидал, что научная игрушка по поиску следующего слова при правильном применение начнёт быть разумной. Вот основная научная загадка, разгадка которой позволит приблизиться к пониманию, как устроен человеческий мозг. Как язык и речь довели нас до жизни такой. И научит нас предсказывать наше будущее. Как быстро наш мозг нас убьёт, как очень большие рога убили многие виды животных.

[@AlexLexus42]

Это не разум. Это именно угадывание слова.

[@nick-mick5652]

Как это печально когда люди разговаривают о чем-то с желанием поделиться с людьми, но не понимают как надо рассказывать, о чем и как свой рассказ продемонстрировать. Получается два «иностранца» поговорили между собой, но о чём они говорили поняли только Они. А остальные просто потратили своё время. Без пояснения (разъяснения) и демонстрации всё пустое. Всё не то! Просветительство это не трёп двух умников между собой... Это последовательно изложение материала, логическисвязанный материал от простого, я бы даже сказал о элементарного к сложному. Так, чтобы даже далёкий от темы человек рот от осознания и удивления открыл. Работайте, авось получится!

[@LittleSSimoon]

Спасибо, гость толковый, было интересно

[@vbminaev]

Михаил в Лондоне. Не в Москве, не в Новосибирске, РАН РФ - в Лондоне...

[@hajanist]

Человек вчера отрицал что сегодня будет это и как только это произошло, отрицает то что завтра произойдёт😂 смешно,

[@Ale30san]

у вас больше миллиона подписчиков и 11 тысяч просмотров, 75 комментариев ни о чем, это и есть суть вашей постнауки)

[@boganetu]

По поводу считыапния фенотипа организма из модели днк, заманчиво. Но сильно врядли. Т.к. развитие эмбриона и его систем не цифровое, а морфо-генетическое. И сложность его бесконечно велика. Но что касается более простых следствий моделирования, то да, ии инструмент шикарный.

[@rar24]

2060 в минимальных требованиях - слабые требования, нихуя себе)))

[@AlexanderA-it9is]

У Генри Каттнера есть фантастический рассказ, в котором человеку случайно из будущего попадает аппарат, который рисует рисунки. Нажал кнопку - и гениальный рисунок. Постепенно аппарат рисовал все хуже и хуже, а потом он остановился. Оказалось, что кнопка, на которую нажимали, стирал память аппарата. ИИ похож на этот аппарат, только этой стирающей память кнопки нет

[@SashaKuzikov]

Даже не близко

[@AlexanderA-it9is]

@@SashaKuzikov AI рисует? - рисует, гениально? - нет. На тройку с плюсом? Какой процент художников уступит AI - небольшой, но этот процент будет постоянно расти. В перспективе - рассказ Каттнера )). В чем можно быть уверенным - такого дурновкусия у AI не будет, как у некоторых субъектов, если AI тренировать на лучших образцах

[@CERBEREX63]

Есть такая кнопка, это кнопка когда вы пытаетесь сохранять в статичную память сети ваши с ней взаимодействия (чтобы она всё это помнила), в итоге она просто перезаписывает то чему была обучена на ваш мусор и перестаёт нормально работать.

[@posmotriach]

12:15 Ну когда своих мыслей нету, то точно поможет...

[@alexzlygostev9211]

Подскажите адекватный сервис для озвучки текста на русском языке. Основные проблемы: озвучка цифр в правильном контексте, расстановка ударений, и сокращения.

[@Alexander-vi9mg]

5:50 - говорить, что нейросети могут иметь хоть какие-то общие признаки работы с мозгом могут только люди, которые не имеют ни малейшего понимания ни в биологии, ни в математике. Батч-нормализацию в мозге может покажите? 10:40 - если ты ничего не слышал про эмбеддинг и векторную алгебру, то конечно это будет шок 12:40 - GPT2, BERT-like модели мы конечно не тестировали... 28:50 - ВСЯ Война и Мир 188к слов. Ничего у него так "стандартная книжка" 50:00 - про чудовищную частоту галлюцинаций у DeepSeek тоже не слышал 51:20 - слои нейросети и слои мозга сравнить... В рот мне ноги! Наращивание слоев в нейросети приводит к ее переобучению, и потере контекста. Так же есть высокая вероятность затухания градиента. Поэтому, к примеру в CV, есть такие архитектуры как U-net. Но откуда это знать светилу науки? 57:30 - в науке применяется ML, вот только это не LLM. LLM можно использовать в качестве консультанта по актуальной научной литературе. 1:01:00 - так и видно, что он ничего не читает. Познания на уровне школьника 1:04:50 - он еще и стартапер? Книжку пойди умную почитай И да, Маск не имеет никакого отношения к OpenAI. О создает свою отдельную компанию. Вы где это чудо нашли? P.S.: Не могу писать комментарий - заблокировали?) Напишу вот тут: Ваш "многоуважаемый гость" говорит о прямом воспроизводстве мозга в виде нейронной сети. Вы же упоминаете концепцию памяти. Это немного разные вещи У меня высшее медицинское образование и 15 лет стажа. Прошел курсы повышения квалификации по специальности DS и год работаю ML-инженером. Давайте, расскажите мне про сравнение цифрового веса в нейросети и концентрацию нейромедиаторов в синаптической щели. И что на счет всего остального? Маск в курсе, что он Open AI руководит? Вы свяжитесь с ним, сообщите, а то так и помрет так и не узнав P.P.S.: Ответ для @LittleSSimoon: 1. Маск ушел из Open AI в 2018. GPT 3 выпустили в 2020м. "Эксперт" говорит так что Маск вместе с остальной компанией отказался выкладывать GPT3, несмотря на свои заверения о независимости и открытости. 2. Обычно, адекватные люди сразу оговариваются, что мозг нельзя сравнивать с нейронками. И судя по остальным моментам есть возможность, что это некомпетентность "эксперта"

[@vlad2614]

Похоже, это вы и не имеете никакого представления о работе мозга и моделях ассоциативной памяти и распознавания им образов. Не позорьтесь!

[@Alexander-vi9mg]

"моделях ассоциативной памяти" вы говорите о концепции обработки информации. Ваш клоун рассказывает про прямое сравнение количество слоев головного мозга и нейронной сети У меня высшее медицинское образование и 10 лет опыта работы. Диплом повышения квалификации по специальности DS и больше года работы в статусе ML-инженера. Давайте расскажите мне про сравнение численного веса в нейронной сети и концентрацию нейромедиаторов в синаптической щели - я с интересом почитаю. Или может расскажите где в компьютерном зрении используется структура зрительной коры? Нейронные сети имеют такое же отношение к мозгу как самолет к птице. И если ваш "эксперт" не понимает этого, то гоните его ссаными тряпками И что на счет остального? Илон Маск в курсе, что он теперь Open AI руководит? А то вы ему передайте, а то так и помрет не узнав Позвали к себе некомпетентного клоуна, так удалите это дерьмо со своего канала и не позорьтесь

[@Alexander-vi9mg]

​@@vlad2614 "моделях ассоциативной памяти" вы говорите о концепциях памяти, а "эксперт" сравнивает именно органический мозг с нейронной сетью У меня высшее медицинское образование и 15 лет опыт работы в медицине + повышение квалификации по специальности DS и год работы в статусе ML-инженера. Давайте, расскажите мне про сравнение веса в нейронной сети и концентрацию нейромедиаторов в синаптической щели - с интересом почитаю. Или может вы назовете мне нейросеть в которой есть архитектоника зрительной коры? И что на счет остального? Илон Маск в курсе, что он руководит Open AI? Вы свяжитесь с ним, а то так и помрет в неведении Пригласили некомпетентного клоуна - удалите видос, не позорьтесь

[@Alexander-vi9mg]

​@@vlad2614 что-то не получается ответить. Интересно, почему... Ваш "многоуважаемый гость" говорит о прямом воспроизводстве мозга в виде нейронной сети. Вы же упоминаете концепцию памяти. Это немного разные вещи У меня высшее медицинское образование и 15 лет стажа. Прошел курсы повышения квалификации по специальности DS и год работаю ML-инженером. Давайте, расскажите мне про сравнение цифрового веса в нейросети и концентрацию нейромедиаторов в синаптической щели. И что на счет всего остального? Маск в курсе, что он Open AI руководит? Вы свяжитесь с ним, сообщите, а то так и помрет так и не узнав

[@LittleSSimoon]

Дядь, гость нигде не говорил о том что Маск сейчас управляет оупен аи. Речь была о первых годах существования компании, Маск из неё в какой-то момент ушёл. Ты бы хоть в википедии чекнул А по поводу "кощунственных" сравнений с мозгом - это были очевидные простые аналогии для широкой аудитории

[@AlexanderA-it9is]

Вопрос к ведущим - а как по поводу эмоций? Эмоции обслуживают потребности, вопросы ИИ тоже определяются потребностями спрашивающего. Например, создание новых анекдотов или ужасных рассказов?

[@максимклевцов-д1я]

Он полуграмотный ?! Нельзя ли для данного контента что-нибудь более достойное ?! Испортить такую тему надо уметь.

[@ShiKaka0390]

Он математик, а не маркетолог.

[@максимклевцов-д1я]

@ShiKaka0390 Грамотными бывают только маркетологи?

[@user-uo4cd6jt7x]

Было бы интересно посмотреть, на что ты способен

[@SashaKuzikov]

​@@ShiKaka0390Он бредоносец.

[@максимклевцов-д1я]

@@user-uo4cd6jt7x У тебя ума не хватит, чтобы что-то увидеть

[@posmotriach]

Чел честно говорит: "Ничего не понимаем.", и потом ещё целый час... Если не понимаете, то чего говорить то?

[@максимклевцов-д1я]

Чел не может объяснить, потому что сам не понимает

[@JohnJTraston]

Не понимаем, но оно Работает! Вот в чем беда. Так а с человеком так же примерно. - А как ты до этого догадался? - Не знаю, с утра проснулся и идея вот пришла.

[@максимклевцов-д1я]

@JohnJTraston Разум человека - это свойство Природы, и ИИ - рукотворное техническое изобретение

[@alexeys.7186]

Нет в компьютере никаких нейронов и нейросетей. Там только транзисторы. Рассуждения похожи на бред сумасшедшего. Смотреть не стал.

[@in_ink]

скинул датасатанистам, смеемся всей коммуной

[@user---------]

Я реально не понимаю какой смысл этого видео? Для тех кто ничего не понимает, здесь ничего не поймёт, гость даже не пытается что-то объяснить, он лишь констатирует некоторые вещи, причём очень бегло. Для тех, кто знает хотя бы базовые вещи, здесь ничего нового не услышит. Постнаука, это от слов Постная наука? 😅 Если он и в Лондоне также объясняет, тогда родина может чувствовать себя спокойно 😂

[@marinaromanova6741]

Всё прекрасно : Но эти " как бы и типа ".....

[@СергейНенашев-и8г]

На скорости х2 полегче

[@user-888azim-97]

не замечала, пока не прочитала этот комментарий 😂 да в целом не так уж и часто

[@fragariasec]

А мне вообще не понравилось. Я не чайник, поэтому мне не интересно. Думала тут будет как-то поживее, поглубже что ли. А для нуба - наверное тоже муть. Верю, что гость очень умный, но интересно рассказать - это не каждому дано. 😅

[@Rusopal]

​@@СергейНенашев-и8гслабак! Я смотрю на скорости 2.5x.

[@SashaKuzikov]

​@@Rusopal8x слабо?

[@h.a.865]

Есть мнение что дипСик это дистиллят из нескольких АІ . В том числе и опен аі и других мелких но очень специфичных а́і, на премьер математического аі от армянского стартапа "тимс солушн" и тд.

[@iqubik]

Я тоже так думаю. Но они встряхнули рынок а пользователям это только на пользу

[@alexmikhylov]

так это не мнение, у них в white paper так и написано, что они использовали ответы чатгпт при тренинге дипсик, и это один из факторов, как они сэкономили на тренинге. и это не некий скам, это норм, это поиск новых эффективных подходов к решению проблемы.

[@Slava870909]

Ну вообще основа это GPT у неё так как при определенном подходе эта модель не скажет что они дип сик а скажет что она GPT и переубедить ее в том что она дип сик невозможно в диалоге. Сейчас постоянно дип сик находиться под пресингом конкурентов и возможно подключении к ней других нейросетей от которых просто сервера не выдерживают и крошат всем их запросы. В любом случае еще никто не сделал практичной удобной оболочки для запуска мощных систем офлайн но так что бы они не перегружали систему домашнего ПК.

[@breadorpeat]

Британия, как и вся Европа уже на самом дне по гонкам нейросетей, в первых рядах лишь США и Китай, уровень Европы по нейросетевым достижениям даже хуже Российских с Гигачэдом от Сбера и Алисой

[@alexmikhylov]

на практике никакая страна ни в первых рядах, в первых рядах частные компании, которые, в принципе, могут в любой момент куда-нибудь переехать.

[@breadorpeat]

@@alexmikhylov ни опен аи, ни антропик, ни мета, ни дипсик не будут переезжать в твою страну, если тебе это так хочется. Они останутся в США и в Китае, как бы тебе того не хотелось

[@CERBEREX63]

Разве Мистраль АИ это как раз не самая что ни на есть Европа? У них одни из лучших опенсорс моделей потребительского уровня, причём с отличными мультиязычными способностями.

[@breadorpeat]

@ Ой совсем забыл про мистраль, это же гениальная нейросеть, ей нет равных, конечно, спасибо что напомнил, чат гпт ей не ровня

[@homuchoghoma6789]

вобщем ребята так себе любители...

[@Epic_Watermelon_Cat]

Вы серьезно? Я Михаила знаю лично

[@FedorNikolaevichO]

Обоснуй

[@AlexUnitedKingdom]

Бурцев в конце 90х начал разрабатывать системы искусственного интеллекта. На данный момент является одним из ведущих специалистов в данной области

[@vashukov]

Тролль

[@SashaKuzikov]

​@@AlexUnitedKingdomЧто он разработал за тридцать лет? Или в каких реальных разработках участвовал?

[@userpupkin499]

Микстура из дистиллятов, как выяснилрсь, не кисло торкает) Особенно хорошо торкнуло nasdaq, до сих пор похмельем мучается ))

[@SashaKuzikov]

Все откатилось намного быстрее, чем дебилы-журналисты это мусолили.

[@alenakapova]

USA - KOCMOC //