2 ай бұрын
3 ай бұрын
6 ай бұрын
Жыл бұрын
Пікірлер
@angryworm80 13 сағат бұрын
Вопрос вызвал спойлер, где было сказано, что размерность модели и размерность векторов V по факту окажется одинаковой. Вопрос: почему бы сразу не искать скалярное QV? Зачем в «посредники» ввели матрицу К и потом взвешивают сумму векторов V по весам софтмакса QK? Зачем лишняя информация в виде матрицы К?
@angryworm80 13 сағат бұрын
Я осознал с 3-го просмотра как эта штука работает :) Но это не значит, что автор плохо объясняет 😂
@abcdefllful 10 күн бұрын
Вопрос- почему в блоке нет ни одного обучаемого параметра? Разве изначально матрици Q, K и V не обучаються? Спасибо
@razinkov 10 күн бұрын
В SDPA не обучаются :) Следующая лекция всё расставит на свои места)
@fatvvsfatvvs5642 13 күн бұрын
Как и всегда, лекции на шикарном уровне!
@alekseimikhalev1807 19 күн бұрын
Очень интересная подача материала! Когда услышал про Фетхие, улыбнуло) Мы с семьей там как раз в одно и то же время с вами жили, два года. Как второй дом теперь)
@razinkov 19 күн бұрын
Замечательное место) Вы на киноклуб в Гиппокампус не приходили случаем?)
@kiryllshynharow9058 27 күн бұрын
35:40 если перенести в general capabilities то там это могло бы назваться language invariance в классическом NLP алгоритм существенно зависит от специфики языка, скажем, финты для "оцифровки" английского, русского, китайского и языка каких-нибудь папуасов Полинезии будут отличаться радикально быть может, я чего-то не знаю, но как мне видится, то что отличает LLM в разрезе NLP, так это то что многоязычность заложена в самой архитектуре и если какой-то язык не поддерживается то это скорее вопрос доступности обучающих данных или вычислительного бюджета разработчиков, а не алгоритмическая проблема
@Skolzzkey 27 күн бұрын
Спасибо большое за Ваш труд.
@angryworm80 Ай бұрын
На самом деле это самая сложная лекция курса. Пересматривая эту лекцию с дистанцией в год понимаешь намного больше и извлекается намного больше смысла. Через год еще раз посмотрю. Вот точно - много новых смыслов увижу. Автору 🤝
@razinkov Ай бұрын
Спасибо) Буду ждать!)
@lokivoid886 Ай бұрын
АИ для сурдоперевода? Это для глухих которые не умеют читать? Потому что автоматические субтитры выглядит задачей попроще )
@razinkov Ай бұрын
Согласен, что выглядит попроще. Но нашел такое в интернете: "Sign language would be the preferred choice in general for pre-lingually deaf people. Post-lingually deaf people have become deaf later in life, so they are often more comfortable communicating in English". То есть иногда сурдоперевод предпочтительнее.
@maksimvolvach8322 Ай бұрын
Спасибо за лекцию! Вот интересно, если при инициализации фильтров, их веса распределятся так, что при умножении на на входной тензор они дадут примерно равные значения, то дальше мы потеряем информационность тензоров. И обратное распространение не будет обучать эти фильтры. И если такое может случиться на разных слоях, то это не даст возможности обучать сеть в общем. И еще одно наблюдение. Мы ведь не можем быть уверенны, на каком уровне астракции остановилась сверточная сеть. То есть размеры обьектов в тензоре должны быть примерно одинаковые, ведь наш фильтр не сработает, если объекты будут кратно по размеру отличаться. А также мы не можем определить что признаки, которые нашла сеть перед полносвязным слоем, расположенны именно так как мы ожидаем.
@sergejskorohodov9201 Ай бұрын
Евгений, большое спасибо за проделанную работу. Было очень познавательно. Думаю есть смысл продолжать. Мне зашло)
@razinkov Ай бұрын
Спасибо, Сергей!
@ostrov11 Ай бұрын
... бухаешь?
@ostrov11 Ай бұрын
... МММ современности )))
@500barnaul Ай бұрын
Еще захотелось добавить, что инди-хакерский подход у ребят мне видится очень, мега, трезвым - быстрые гипотезы, без влюбления и очарования. Они сейчас как серферы в лёгких нелипнущих ботинках. Задерживаться там однозначно. Всех благ им, и вам, Евгений, в вашей задумке - что конечно же читается!
@razinkov Ай бұрын
Спасибо большое!
@500barnaul Ай бұрын
Клёво сказано: короткая дорожка для умников! Реально! Ситуация такая, что технологии развиваются настолько быстро, что большинство компаний просто не имеют возможности привлекать достаточное количество специалистов в теме AI. Поэтому скорее проектам на AI стоит думать в сторону работы с B2B сектором (даже наверное B2B2B - что еще мультипликатор). Не стоит заниматься конечным потребителем - все взаимоотношения с ним уже многократно отутюжены обычным бизнесом - нужно помочь компаниям. И взять свои деньги за момент - момент, когда большие компании из за бурного течения отстали. ЗЫ: Можно подробнее по сурдопереводчику? Можно стать тестером?
@razinkov Ай бұрын
Спасибо! Уточню, запомнилось ли Игорю и Максиму название проекта по сурдопереводу)
@mopchik8301 Ай бұрын
Справа французик
@TheLegend-f2l Ай бұрын
Отличный формат! Надеюсь на его развитие 👍
@razinkov Ай бұрын
Спасибо!
@LLIo6oH Ай бұрын
Формат класс! Нужно больше такого. Но ребята, без обид, какие-то невнятные. я попробовал зайти на сайт, но там пусто. Одно предложение. Поискал github - снова ничего. LinkedIn - мертвый. Так что же они продвигают? С чем идут к инвесторам? С идеей? Так это очень размытая идея. Все AI стартапы предлагают эту идею, поскольку это и есть идея AI
@staspolianychko Ай бұрын
🔥🔥🔥
@ilya_rekun Ай бұрын
давно пора! очень рад появлению нового формата, надеюсь в будущем их будет больше . . . . . где комменты? 🤨
@razinkov Ай бұрын
40 минут назад опубликовал, поэтому и нет комментариев) А за Ваш - спасибо :)
@ilya_rekun Ай бұрын
@@razinkov просто актив очень важен в первое время после залива видео
@razinkov Ай бұрын
@@ilya_rekun я могу только надеяться :)
@kiryllshynharow9058 Ай бұрын
@jack j Вам хочется "настоящей" мультимодальности - ну так подождите несколько лет настоящую мультимодальность пока слишком дорого обучать "налево и направо" кроме того, учтите что текстовые даные для self-supervised learning гораздо более доступны (и в достаточном количестве) чем данные для других модальностей
@вгостяхуЯны-ъ9б Ай бұрын
Прежде, чем вещать, сам бы разобрался
@вгостяхуЯны-ъ9б Ай бұрын
Видно, что парень еще сам совсем не разобрался... Дизлайк
@sultanidza Ай бұрын
Потрясающие лекции и безумно красивая математика - как из довольно неприятной формулы выходит вполне себе понятная и красивая loss function. Спасибо, Евгений!
@razinkov Ай бұрын
Спасибо большое за лестный отзыв!
@fatvvsfatvvs5642 Ай бұрын
Былр бы интересно послушать другие глубокие лекции на тему классического cv: shape analysis, texture analysis, eigen analysis, orb, image moments. Есть еще области где глубокие модели беспомощны.
@fatvvsfatvvs5642 Ай бұрын
Шикарное объяснение этой темы
@zirtit Ай бұрын
Спасибо огромно за курс!!!!!
@fatvvsfatvvs5642 Ай бұрын
Что плохого в batchnorm? Я активно им пользуюсь, частенько помогает.
@nickfarshev9575 Ай бұрын
Приветствую, Учитель. Интерес у аудитории к тематике есть. Спасибо за контент!
@razinkov Ай бұрын
Спасибо, что смотрите!
@sergeisotnik Ай бұрын
Спасибо за вебинары. Забрел сюда случайно, еще на первую сессию и дотянул то нынешнего момента)) Вопрос относительно галлюцинаций. Я понимаю, что таким образом, как описано в статье, мы можем найти области, где модель любит галлюцинировать. Но по описанию не совсем понял, что мы делаем далее, чтобы уменьшить этот эффект?
@razinkov Ай бұрын
Мы определяем промпты, где модель галлюцинирует и через SFT обучаем ее вежливо отказываться отвечать.
@fatvvsfatvvs5642 Ай бұрын
Не понятно как на этапе тестирования они после замены слоев подобрали веса на новых слоях. По идее их надо тоже обучать, тогда это надо сделать на этапе обучения.
@fatvvsfatvvs5642 Ай бұрын
И не понятно почему сразу не обучить полносверточную версию vgg. Кажется что выкидывание линейных слрев это как выкинуть коныету и оставить фантик. Там куча связей, которые требовали много вычислений. А потом мы посто выкидываем их.
@fatvvsfatvvs5642 Ай бұрын
Спасибо за топ контент! Буду рад послушать про мультимодальность, тема тоже интересная.
@EdelWeiss-s6m Ай бұрын
Господи, где вам поставить памятник?)) Наконец-то все четко по полочкам разложено
@razinkov Ай бұрын
Спасибо большое, очень приятно🤎
@irinakrivichenko7824 Ай бұрын
Благодарю, Евгений! Галлюцинации - важная тема. Думаю, что в последующих поколениях моделей найдут ещё способы, как с ними бороться, помимо фаинтьюнинга.
@razinkov Ай бұрын
Спасибо, Ирина, что не сдаетесь)
@CaptainAdmiral Ай бұрын
круто, спасибо за разбор
@ИванЖарский-к9э 2 ай бұрын
Semantic deduplication напомнил NMS в object detection, только сравниваем не по IoU, а по CosSim
@razinkov 2 ай бұрын
Нравится Ваша ассоциация)
@ИванЖарский-к9э 2 ай бұрын
Курсор там, где нужно)
@ИванЖарский-к9э 2 ай бұрын
Супер видео, очень рад, что есть такие выпуски! Наверное всё-таки mOdeling, а не modEling
@razinkov 2 ай бұрын
Да, Вы правы, mOdeling) Спасибо)
@Anton_Sh. 2 ай бұрын
Ну, а как момент с границами на AGI перенести?.. да, даже хотя бы proto-AGI...
@user-fhi58gg4gk 2 ай бұрын
Какое же крутое объяснение. Спасибо большое ❤❤❤
@razinkov 2 ай бұрын
Очень рад, что объяснение понравилось)
@nickfarshev9575 2 ай бұрын
Разбор по взрослому! Только факты! Спасибо за труд и прошу продолжайте Ваше творчество! Очень сильно помогает понять материал.
@Rhf-y5i 2 ай бұрын
Так а чему учиться? Что и на что переучивать? Было бы интересно посмотреть такой ролик, спасибо👍👍👍👍
@razinkov 2 ай бұрын
Попробую сделать и такое видео)
@Rhf-y5i 2 ай бұрын
@@razinkov супер, с удовольствием купил бы такой обновленный курс😉
@irinakrivichenko7824 2 ай бұрын
Папа периодически высказывал пессимистические мысли по поводу того, что искусственный интеллект отберёт рабочее места. Он устанавливал телефонные станции раньше. И я привела ему такой пример: если не будет хватать рабочих мест, то давайте просто отключим все телефонные станции и поставим опять телефонисток. Он согласился, что прогресс - это хорошо, и его просто нужно учитывать. По-моему самое слабое место у человечества сейчас - это образование, которое отбивает у детей стремление к учёбе (посмотрите как стремятся дети первый раз в первый класс, и с каким нежеланием идут во второй) и так мы получаем взрослых, которые боятся и не хотят переучиваться на новые специальности.
@razinkov 2 ай бұрын
Честно говоря, у меня нет никаких идей, как сейчас должна быть выстроена система образования)
@irinakrivichenko7824 2 ай бұрын
Одно из моих любимых выступлений на TED: kzbin.info/www/bejne/r2TNiombZrd6l7csi=tobFZT5bfvoWFi9N
@velocity-hz8en 2 ай бұрын
так это все прогрев)
@Rfhbe1 2 ай бұрын
я только курс закончил на скилбоксе по нейросетям...опять переучиваться надо... меня это достало, возвращаюсь в продажи, они никогда не умрут
@kiryllshynharow9058 2 ай бұрын
аналогия про электричество, кстати, в точку не забывайте, что помимо того что в розетке оно "уже готовое", повышение эффективности аккумуляторов это ключевая задача, от которой зависит весь Hi-Tech первой половины XXI века и накакой инженер-электронщик или даже продвинутый радиолюбитель не обходится без изучения основ физики электромагнетизма, хотя бы ради профессиональной интуиции впрочем это уже неоднократно пройденная история: "профессиональный пессимизм" фонарщиков конца XIX века был объективно обусловлен, но, кажется, спустя век мы имеем число электриков и энергетиков на порядки превосходящее тех самых фонарщиков (хотя как бы и да, действительно больше никто не изобретает динамомашины для личного пользования)
@alexandershershnew4178 2 ай бұрын
Стадия отрицания
@ПётрРокосов 2 ай бұрын
Очень Глубокая мысль про расширение границ... Это результат каждой революции , как только будет прорыв, то затем идёт экспоненциальный рост задач, особенно на первом этапе
@Anton_Sh. 2 ай бұрын
Границы расширялись потому, что человеческие когниции всегда имели на порядки больше степеней свободы и охвата, чем любой механизм. Тех. сингулярность в этом плане "съедает" этот момент, а мы сейчас уже подлетаем к её аккреационному диску.... впервые в истории. Проще говоря, настанет момент, когда человеку уже нечего будет привнести от себя в управление тех. процессами и он не будет нужен, чтобы хоть чем-то "рулить".
@ЕвгенийАндреевич-з5р 2 ай бұрын
тренироваться и тренироваться в публичных выступлениях
@Anton_Sh. 2 ай бұрын
наоборот, для интеллектуальных тем лучше именно так - натурально и в режиме реального времени, без какой-то постановки.
@Maraur-y9s Ай бұрын
А вот мне понравилось. Душевный разговор, как будто с другом пообщался
@Yetishkin_Pistolet 2 ай бұрын
Если разбираешься в ML, то понимаешь, что всё ОК, никакие искусственные нейронки никогда не заменят реальный мозг человека. Если конечно нейронок не будут воспитывать как людей, с рождения и на протяжении всей жизни. У меня есть идея собрать глубокую архитектуру и передать её каким-нибудь "маме" и "папе", чтобы они обучали её ходить, говорить, совершать ошибки и исправлять их, рисовать фломастерами на обоях, объяснять что такое хорошо и что такое плохо итд. Тут скорее вопрос в том какая это должна быть архитектура (безусловно это должна быть смесь из reinforcement и classification, возможно что-то ещё) и самое главное какие вычислительные мощности нужны для этого, ведь там будут, вероятно триллионы фич. P.S. Меня всё больше пугает скорость разработок ультралайтиксов... Я ещё YOLO 8 нормально не пощупал, а на днях вышла YOLO 11. Так и хочется сказать "Горшочек, не вари ! Я не вывожу" )) P.P.S. тоже иногда приходят мысли о яхтинге, есть в Москве пара мест, где можно поучиться. Правда сейчас осень в разгаре и погода не слишком благоволит
@ostrov11 2 ай бұрын
... "у самурая нет цели, есть только путь"
@Yetishkin_Pistolet 2 ай бұрын
@@ostrov11 Сейчас в ML реально так
@Anton_Sh. 2 ай бұрын
искусственные нейронки могут заменить десятки и сотни "частей" и ролей человека.. Не нужна человекоподобная нейросеть - нужны тысячи, миллионы, миллиарды узкоспециализированных....
@Yetishkin_Pistolet 2 ай бұрын
@@Anton_Sh. Один из вариантов.
@Anton_Sh. 2 ай бұрын
@@Yetishkin_Pistolet при этом варианте человек очень быстро станет не нужен для производства любых благ. Человек со своим мозгом останется нужен только самому себе как самоценный контейнер сознания.