ИИ уничтожит мир за 2 дня? Михаил Самин

[@BookChel]

Конкурс! Подарим трехтомник “Гарри Поттера и Методов Рационального Мышления” Юдковского тому, что задаст лучший вопрос/приведет лучший контраргумент по поводу безопасности ИИ. Оставляйте комментарии с хэштегом #конкурс.

[@dachicha]

#конкурс Сейчас приходит то самое время, когда начинаешь чувствовать себя дискетой в мире терабайтных SDшек и лишь надеешься, что через 10 лет скупая цифровая слеза не даст выкинуть тебя из пыльного стека. На мой взгляд, незатронутый вопрос в подкасте состоит в том, какими средствами ИИ опасен. Естественно, мы говорим не про роботов-пылесосов, размазывающих всякое по полу. Наспех оценивая, ИИ может влиять на окружающий мир несколькими путями: 1. Путь опасного дворецкого. В данном случае ассистент-ИИ просто инструмент в руках человека. Как бы ассистент не помогал в разработке более совершенных ядов или взрывчатых соединений, либо же(!) стратегии, пока человек выполняет существенную долю замысла, другие люди смогут на это влиять. 2. Путь звонка из банка. Таким названием я выделяю некоторую совокупность возможных исходов, при которых ИИ, достигая условно прямых или побочных целей будет использовать манипуляции для управления людьми. Такой исход возможен, ведь как известно по некоторым событиям, для этого самого по себе интеллекта особо и не требуется. Проблема этих исходов в том, что достаточно умная программа сможет использовать все существующие знания о когнитивных искажениях человека, чтобы добиться своего, а помимо этого вполне способна наблюдать сложные корреляции во всем массиве информации и быть более успешной в достижении целей. Иначе говоря, ИИ будет видеть пути достижения такие, которые человек не может осознать из-за их сложности или отсутствия полной информации и скорее станет считать их случайностью. Для этого ИИ должен быть в нужной мере централизованным, чтобы в роли серебристого кардинала управлять процессами. Тут стоит заметить, что если мы рассматриваем полную подконтрольность всех информационных систем и что в случае пришествия дня Х все наши технологии станут ступеньками к достижению каких-то целей, то не слишком ясно, почему человечество должно исчезнуть целиком в жертву скрепочных заводов. 3. Длинные и холодные металлические руки. Несмотря на то, что эти "руки" все же будут скорее композитными, мысль заключается в том, что с некоторого момента ИИ сможет получить доступ к влиянию на материальный мир напрямую, а не косвенно через слабости и желания людей. Это пессимистичный вариант, к которому рано или поздно, вероятно, стекутся остальные. Кэмерон прибыл из будущего, чтобы рассказать нам, а мы восприняли случайностью (ха-ха). По-итогу, первый вопрос заключается в том, какими путями ИИ сможет получить влияние из своих возможностей и не придется ли ему для этого стать централизованным? Пункт второй, а также еще один вопрос. Централизованность. Вероятно, что многие крупные компании получат доступ к использованию общего ИИ примерно в одно время, а учитывая, что этим сейчас занимаются повсеместно, то будет сразу несколько вариаций итоговых программ. У каждой могут быть разные цели как основные, так и в силу разницы в обучении, побочные. Вопрос состоит в том, насколько разные ИИ будут конкурировать в достижении целей и разве не замедлит ли каждая из них все остальные? Иначе говоря, понятно, что человек не будет способен на некотором этапе конкурировать с ИИ, тем не менее, на мой взгляд, не будет единого сверхразумного ИИ, который смог бы использовать абсолютно все ресурсы. Подкаст выдался просто огненный, спасибо за то, что поднимаете такие темы! Для желающих обсудить какие-либо вопросы по теме - тг: @dachicha

[@namesurname7332]

Суперская книга, даже жалко, что сегодня вечером дочитаю её. Долго была моим спутником и утешением.

[@FecalLord]

Закон Мерфи затащит

[@AndyIstomin]

#конкурс (просто есть вопрос, который никто не рассказывает) Я очень пессимистичен по поводу ии, думаю они заменят 99% профессий и мою в том числе (пока только помогают). Но я не понимаю, как ии убьет человечество? Не у всех есть компы и интернет, ядерные кнопки врядли онлайн можно нажать. Что случится? Ну например, бизнес и корпорации будут использовать ии вместо людей и зарабатывать деньги, безработица и все такое, но от этого никто не умрет, картошку будут сажать, бомжевать, пособия по безработицы получать, за налоги этих бизнесов. /// Михаил очень интересный спикер!

[@BookChel]

@@AndyIstominпоздравляю с победой в конкурсе! Напиши мне в директе в инсте (Mustreader) или на почту [e-mail] свой адрес и контактные данные для доставки книги

[@Николай-г5т6ч]

Спасибо за гостя! Мише не в упрёк, но совет поработать обязательно над дикцией и подачей информации) Важный скилл для популяризации проблематики

[@martiniden8223]

Помолчи а))))

[@Николай-г5т6ч]

@@martiniden8223 по какому поводу вскукарек? осеннее обострение у шизов?

[@okanvitaliy]

Это не то что совет. Это убедительная просьба. Если не получится, то нужно либо закрываться, либо нанимать дублеров.

[@MikhailSamin]

Дополнительно, подарю по трёхтомнику «Гарри Поттера и методов рационального мышления» каждому, кто прочитает AGI Ruin Юдковского, ответы на него Пола Кристиано и команды DeepMind, и напишет качественный и новый контраргумент или причину, которая может позволить человечеству выжить, которая не упомянута в ответах DeepMind и Пола

[@aliokhin]

Миша, ты крут! Конечно, что бы убедить Била Гейтса в лифте риторику нужно немного подкачать, но это мелочи. Тема ИИ одна из важнейших проблем, стоящих перед человечеством. Жаль, что старшее поколение очень слабо это осознаёт. Гриша, при всём уважении к стендаперам и реперам с которыми ты записывал подкасты, то что проповедует Миша конечно не так хайпово, но несравнимо важнее. Ты со своим медиа ресурсом один из немногих, кто освещает эти проблемы в русскоязычном ютьюбе. Респект вам, ребята! P.S. Гриша, давай больше контента про ИИ, про усиление человеческого интеллекта (УИ). Давно не было подкастов с Пион, а у них много интересного появилось за последнее время. Чем больше людей будет хотя бы понимать о чём речь, тем больше шансов у всех нас на будущее.

[@MikhailSamin]

Спасибо :) В реальности я бы не пошёл без подготовки убеждать Билла Гейтса в лифте. Сложно было сказать что-то, что звучало убедительно одновременно и для зрителей подкаста и для воображаемого миллиардера, в итоге, кажется, получилась так себе аргументация, не направленная особо ни на кого

[@AHTOH2010]

Скрытые отсылки этого выпуска: - Кружка Гарри Поттер > Гарри Поттер и методы рационального мышления - худи Рик и Морти > серия Рика и Морти с фристайлом на вечеринке перед концом света - Михаил, создавший аналог Шазама > Сериал «Кремниевая долина» про стартапера-программиста, который создал Пегова Дудочника - аналог Шазама, и который не мог не программистам объяснить суть своего алгоритма. По этой аналогии можно ясно понять, что Михаилу нужен партнер-укурок, который будет за него объяснять Биллу Гейтсу и другим инвесторам в чем суть проблемы.

[@ololobro]

все что я понял что из видео "мы ничего не знаем" "все очень очень сложно" "мы не знаем чего хотим на самом деле"

[@helgisnezhin7928]

Миша Самин - обожаю! Спасибо ему за все !!!

[@levkovichstanislav3499]

Ученые: Мы не знаем, что такое интеллект, душа и т.п. Программисты: Мы создали ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ

[@serdianxznone5924]

Есть ли гарантия ,что ИИ нас могут заменить? Что делать ,если это произойдёт? Какова наша цель с тем ИИ, который нас заменил? Что делатьс тотальной безработицей с таким ИИ? Что будет с нашим доходом ,когда нас заменит ИИ? Есть ли гарантия при полном заменении труда человека ИИ ,что не случится конец света? Решит ли ИИ политические, экономические и социальные проблемы?

[@КириллКлеймёнов-р6и]

Болею за ИИ всей душой!

[@АлександрКоротков-д9э]

крутой диалог! Гриша, спасибо за выпуск!

[@AHTOH2010]

А есть ссылка, где можно присягнуть на верность ИИ заблаговременно?

[@toofastfootbal]

Из сказанного: пока только понятно, что мы не умеем интерпретировать конкретную модель на основе нейронной сети. Это подается как главная опасность. Тут надо отметить два пункта: Во-первых, уже есть работы, которые для конкретных архитектур дают толкование весов сети. Во-вторых, сегодня ИИ доступный для обычного пользователя работает, если дать ему конкретный запрос. В каком-то смысле он статичен(хотя вот тут не уверен до конца). Поэтому нынешние модели пока, что не "живут" какой-то внутренней жизнью. Если это изменится(или уже изменилось) это действительно была бы уже проблема. Если риски и существуют, пока что они связаны не с ИИ, а с людьми. То как люди будут использовать столь мощный инструмент. Прямая аналогия: "мирный атом". Если уж про что хотелось бы и услышать, так это о каких-то квантовых технологиях + ИИ, биологических технологиях + ИИ, то что принципиально поменяет вычислительные ресурсы. ИМХО нейронные сети которые крутятся на машине Фон Неймана(пусть и очень большой) вызывают скорее опасения, что ИИ просто приведет к глобальному потеплению, пока датацентры будут обучать.

[@dimidrolhalitovich5241]

у нейросетей есть алигмент, есть эмерджентность, есть хак системы поощерения, есть галлюцинации а так да они абсолютно безопасны

[@toofastfootbal]

@@dimidrolhalitovich5241 звучит таинственно, можете ссылки скинуть, где почитать

[@UpGiMa]

очень круто, спасибо вам за то, что вы делаете, это здорово

[@ivanramyk801]

Есть ли какое-то сообщество, условный чат в дискорде, где можно было бы позадавать вопросы на тему, обсудить разные аспекты?

[@needsupport263]

очень интересная тема, гоу ещё ролики по ней

[@lazyw1zard]

другой вопрос, помимо опасности самого ИИ и достижения "цели" и т.д. существует также опасность использования ИИ со злым умыслом самими людьми. Что будет, если например, взять нечто вроде Alpha Fold, и обучить его на структурах вирусных белков, добавив к этому пару учёных вирусологов, лабу со всем необходимым, тёмную сторону и печеньки? Ещё пример, умный чат бот (можно на базе gpt4), обученный под пропаганду/разжигание вражды/фальсификацию данных (выберите по вкусу) под видом множества пользователей во всех соцсетях и месенджерах?

[@AHTOH2010]

Ну тут-то ничего нового, гонка вооружений. Вопрос-то в то, что она выпустит джина, который грохнет всех без разбора.

[@Mr.Borhes]

В целом, есть, конечно, некоторая надежда, что любой развитый разум должен в конечном итоге прийти к пониманию, что единственной достоверной ценностью является качество субъективного опыта всех обладающих сознанием агентов, т.к. всё прочее, что не продуцирует субъективный опыт, не имеет квалиа (условно, не обладает сознанием) является лишь материей, строительным материалом не имеющим интенции и предпочтений. И таким образом, любой развитый разум должен в конечном итоге принять за базисную метрику уменьшение всего негативного сознательного опыта и максимизации позитивного сознательного опыта

[@MikhailSamin]

Вполне могут быть программы, имплементирующие агентов, успешно строящих и воплощающих планы, достигающие любых целей - и их планы не будут включать создание более умных агентов, которые успешно достигают чего-то другого, потому что если ты хочешь максимума молекул в виде улыбок во вселенной, а твой последователь максимизирует положительную квалию, ты в результате получишь в своей вселенной меньше молекул в виде улыбок. См. Orthogonality thesis (и convergent instrumental subgoals)

[@Mr.Borhes]

​@@MikhailSamin , спасибо за ответ! Да, я понимаю идею тезиса ортогональности, но у него ведь нет эмпирического подтверждения. Кроме того, даже сам Бостром в своём "Superintelligent Will" ограничивает его экстраполяцию, говоря, что речь идёт не о "...рациональности или здравомыслии...", но исключительно об интеллекте, под которым понимаются "...навыки прогнозирования, планирования и сопоставления целей и средств в целом...". Кто знает, возможно всё же существует не только инструментальная, но и терминальная сходимость?

[@oubden]

Гриша, привет! Хотелось бы послушать твои мысли по поводу видеоигр. Стоит ли тратить на них хоть какое то количество своего свободного времени? Ты относительно молодой и должен быть в теме. Может и сам во что то периодически играешь? А может ты стопроцентно против такого времяпрепровождения?

[@BookChel]

Не против) но я замещаю их шахматами, хотя в детстве играл в Героев, НФС и ГТА и ещё несколько игр

[@allaarifulina3116]

На мой взгляд, ИИ нет смысла уничтожать человечество. Рассуждаю из того, что ИИ - все же алгоритм, антропоморфировать его сложно - у ИИ нет гормональной системы, нет базовых инстинктов (самосохранения, например), что подвигало бы его на осознанную конкуренцию с людьми. Скромно полагаю, что причиной катастрофы станет человек с его запросами. ИИ здесь только как инструмент, а данном случае, он подобен ножику. Можно ножиком отрезать колбаску и накормить голодного, а можно кого и в подворотне пырнуть.

[@levkovichstanislav3499]

ура наконец-то, я увидел человека который говорит что это алгоритм я устал от приторных комментариев

[@Игорь-ш6ю1з]

​@@levkovichstanislav3499 а что мне мешает заложить алгоритм -уничтожать человечество

[@RuslanMusin99]

Уже у умных ии при выполнении задачи самостоятельно появляются под задачи. Т.е. при выполнении любого человеческого запроса изночально подразумевается что сам ии будет существовать на момент завершения выполнения задачи. А это означает что его не отключили, не удалили, компьютеры не сломали и т.п. По сути при достаточной масштабности интелекта выполнение любой поставленой задачи угрожает существование человечества. Т.к. наша самоценность для ии равна нулю, а угроза от нас исходит не нулевая.

[@ОливияКаспий]

Гриша! Прошу прощения, что не по теме, НО Сними, пожалуйста, ролик о том, как начать разбираться в политике, на чье мнение можно полагаться и какие книги помогут в этом деле 🙏🏻

[@BookChel]

Посмотрим!

[@FotiKo-qc2lt]

Похоже на то, что ИИ, все более и более просекающий положение вещей в мире, придет, возможно, к очень неутешительным выводам относительно человечества. Как , возможно, о бесполезном а , может, и опасном явлении не только для биосферы, так и для самого его, ИИ.

[@Mr.Borhes]

Моё мнение по данному вопросу, конечно, весьма дилетантское, но, возможно, для поиска этически приемлемого базиса AGI была бы полезна стратегия установки нескольких взаимокомпенсирующих метрик, для того чтобы, пользуясь терминологией, применяемой в данном видео, оказывать давление на позицию в градиентном поле одновременно с нескольких сторон и таким образом, прийти к равновесному значению. Т.е., условно говоря, добиваться от алгоритма одновременно максимизации показателей "снижение уровня страдания", "выживаемость биологических систем" и т.д. Это, естественно, размышления на весьма абстрактном и беспредметном уровне)

[@AHTOH2010]

Ок, убить всех, кто страдает.

[@lingrig]

Получается, что биометрия всех людей нужна ИИ не для того, чтобы продолжить жизнь "коллективным ротшильдам", а чтобы точно знать,как одним ударом уничтожить все Человечество?!

[@ЕвгенияАфанасьева-м1л]

Вы супер умные и интересные. Нравится вас слушать.

[@ChemNews]

Честно? Так и не понял как оно нас может убить. Вот ваще.

[@Gianluca-Vacchi]

Этот парень сам нейросеть? Говорит как робот. Произносит не предложения, а набор несвязанных по интонации слов. Трудно понять, что он вообще рассказывает. Нейросети и то более связанно говорят сейчас. Вот как он говорит: "Организация. NewsGuard. Занимающаяся. Отслеживанием. Дезинформации. В новостях. Обратила. Внимание. На. Бот. ChatGPT. Сочиняющий. С одинаковой. Легкостью. Научные. Статьи. И художественные. Тексты. Не умея. Отличить. Факты. От вымысла."

[@victordoombl4]

прошивка старая тормозит уже

[@Igor_Shubin]

Вы как то плоско понимаете Маска. Он говорит что обеспокоен, но и видит большие перспективы в его использовании. Очевидно что если создать какой то симбиоз человека и технологий которые сделают его более умным или тот же перенос сознания в тело робота это польза для человечества. Какие перспективы это бы открыло для человечества.

[@ICRainbow]

Пари паскаля это не то же самое что ограбление Паскаля. Пари - про ад, за авторством самого Паскаля. Ограбление - про утилити, за авторством Юдковского.

[@MikhailSamin]

Это правда! «Или, например» я сказал некорректно. Я заметил уже после записи, но забыли поставить плашку с уточнением/исправлением

[@BookChel]

@@MikhailSaminНе поставили? Я просил команду поставить ( Ладно

[@dob]

Спасибо! Тема актуальная и важная. Ещё не успел посмотреть. Мои мысли на входе: - хорошо, что вы решили обсудить эту тему - это первое видео на русском языке по теме, которое я буду смотреть - сегодня РФ (и все организации внутри), скорее всего, не является влиятельным игроком в AGI, но это может измениться на горизонте 10-20 лет (если у нас будет 20 лет)

[@darikojaan]

Все просто, научите ИИ эмпатии :)

[@reginaldjeeves8785]

Человеческие страхи. ИИ, просто следующая ступень эволюции хомо, стоит ли из-за этого переживать.😊

[@Kira_Kitty]

Думаю, уважаемому гостю стоит поработать над дикцией: проглоченные окончания слов, нечеткое произношение, неразборчивая речь - очень трудно слушать. По сути - вопросов нет, очень интересно. Но вот форма… Оставляет желать лучшего

[@Burgalo2001]

Поддержу людей. Это реально кровь из ушей! Чувак владеет вопросом, но НИКУЯ не может донести....Это просто трындец! Невозможно слушать!

[@АлександрАнатольевичШмонов]

Компьютер создал много изобретений. Это написано в интернете.

[@ЕкатеринаИванова-ц2е]

👍👍👍👍🔥

[@СашаБакин-ы4х]

В описании хештег неправильный (#юдковскиий вместо #юдковский)

[@BookChel]

Поправили, спс!

[@user-robot_mutant]

Мишенька ты покушал?

[@luckystrike91]

парню очень тяжело подбирать аналогии, обобщать и приводить удачные примеры. толи он волнуется, толи просто не умеет объяснять, толи профдеформация

[@victordoombl4]

с волками жить по волчьи выть

[@криозаморозка]

26:00

[@RaleXx85]

Очень тяжело слушать спикера. Проблемы с артикуляцией и выстраиванием смысловой нагрузки.

[@meloin522]

Отлично отношусь к Грише, но это интервью удивительно некомпетентно. Вопросы расплывчатые, ответы такие же расплывчатые. Надо было спрашивать о конкретных негативных сценариях развития событий. А о возможной помощи с рисерчем и финансирование - это просто смешно, абсолютное большинство зрителей этого канала сделать это не смогут. Единственное, как широкая аудитория может на это повлиять - заниматься государственным и общественным лоббизмом

[@serjiobazhan3918]

Вроде, всё-таки, Олтмэн

[@ДенисПущак-е3ы]

Что-то у него словесный запас не очень

[@markkorchnoy4437]

Yud IS based

[@угрумум-о5ы]

никакого ИИ нету и не будет, зачем обманывать людей. как дружно все кинулись зарабатывать на теме ИИ на самом деле это всего лишь новая фишка для отвлечения народа от более насущных проблем.

[@АндрейШамонов-х9щ]

Гость двух слов связать не может, ни чего не понятно из-того что пытается донести, слушать не возможно , сплошные «эканья»!

[@Persakom]

Как же сложно слушать етого волдеркиндерды… и не потому, что он заумно говорит а потому, что он еще не научился говорить….

[@AlexReyn888]

Чел ужасно объясняет. Сорре. Тут еще важно сказать, что попробовав работать с ЧатомГПТ итп., и увидев насколько это полезно в работе, ты становишься на позицию ДАЙТЕ МНЕ БОЛЬШЕ ЭТОГО (а не меньше). А это значит сторона Юдковского проигрывает в вопросе пользовательских симпатий, сразу, потому что агитирует за остановить/нипущать

[@glinomess9925]

Какой же нудный и плохо владеющий словом спикер. Кровь из ушей.

[@daniilivanik5021]

Действительно, я, как человек с похожими проблемами это замечаю и стараюсь относиться с пониманием. Просто есть люди, которые не мыслят словами, а мыслят другими абстракциями (объектами, ещё как-то). Мне, например, очень тяжело передать картину мира, которая у меня в голове, сформулировать еë в устной речи. Конечно, было бы лучше, если он мог широкой аудитории понятнее объяснять, то, что понимает сам, но, к сожалению, не всем дано. Думаю, это можно поправить, потратив какое-то количество ресурсов, но, видимо, парень считает, что его сильные стороны в другом и развивает их

[@MikhailSamin]

Извините 😅 Буду очень рад, если люди, умеющие говорить куда лучше меня, погрузятся в проблему и будут ходить на подкасты!

[@pummy]

Не пиши больше комментарии на этом канале, изыди!

[@gaff6120]

А у него канал уже много лет, вот и думай

[@XorAlex]

Тема очень сложная. Почти все материалы по ней на английском языке. Нужно быть талантливым коммуникатором чтобы на ходу подбирать простые и понятные русские слова для объяснения сложных понятий. Даже как переводить слово "alignment" так и не определились.

[@sergeykozyr5059]

По-моему Михаил не очень подходит на роль эксперта по ИИ. Во-первых, он плохо формулирует мысли и долго объяснял, как проходит обучение нейронных сетей. Чувствуется нехватка опыта публичных выступлений. А во-вторых, Михаил не является видным деятелем в сфере ИТ. Он не создал ИИ стартап, не приложил руку к какому-нибудь ИИ проекту. Видно, что он путает особенности генеративных сетей (ChatGPT) и обучение с подкреплением (AlphaGO). Стоит позвать Артёма Кухаренко из NtechLab или Дениса Ширяева.

[@Szindbad]

😂😂😂