«У нас будет три выходных, вместо двух» - Александр Крайнов | #19

💻Научись создавать нейросети: go.skillfactory.ru/FearOfTheF...
🎁Скидка до 60% +предложение Черной пятницы по промокоду FUTURE60 до 30.11.2023
Смотрите YaC 2023 - вы узнаете, как Яндекс наряду с международными и российскими технологическими компаниями вступил в гонку языковых и визуальных нейросетей
На KZbin: ya.cc/t/uOoQwEuH4az3B7
На Кинопоиске: ya.cc/t/r8o5XVwb4bFWgi
В этом выпуске подкаста «Страх будущего» мы разбираемся с темой ИИ и нейросетей. Гость: Александр Крайнов - Директор по развитию технологий искусственного интеллекта «Яндекс».
Станьте спонсором канала, и вы получите доступ к эксклюзивным бонусам. Подробнее: / @fearofthefutureshow
Поддержать проект другими способами:
Если вы не в России: / fearofthefutureshow
Если вы в России: boosty.to/fearofthefuture
Bitcoin: 17v3LzVgN4MeTAjgvYu1hvjWbKX9XLvBPs
Bitcoin Cash: qztzr6xu55szas9lsr3vwf87q9shym89mudjyzrcj8
Ethereum: 0x044BFaee1EB9366dF9F6ed5065884eBc090eb0eE
Litecoin: LL2iwJdHgv4oqnwMLnqMafhffUnV5LBHsS
Социальные сети:
t.me/FearOfTheFuture
fearofthefuture
zen.yandex.ru/fearofthefuture
/ ilya_abilov
/ ilya_abilov
Слушай там, где удобно: pc.st/1626545578
«Страх будущего» - это подкаст о неизвестном, ведь мы боимся того, чего не понимаем. Разбираемся в настоящем и прошлом, чтобы лучше понять будущее.
Меня зовут Илья Абилов. Я медиапродюсер и основатель таких проектов как Vert Dider, SciOne и многих других научно-популярных проектов. Это мое авторское разговорное шоу, где я говорю с экспертами из разных сфер и пытаюсь разобраться в настоящем и прошлом, чтобы испытывать меньше страха перед будущим.
Для связи: [e-mail]

[@FearOfTheFutureShow]

Слушай там, где удобно: pc.st/1626545578

[@makievitch]

Очень душевный ролик и понятный.

[@MikhailSamin]

50:47 - не моя область, но начал смотреть отсюда, и неточность 😅 я имплементировал с нуля модели diffusion, и там не начинается с «маленького квадратика» 16*16 - на вход даётся шум в духе 512*512 пикселей и описание; нейронная сеть смотрит на всю картинку и предсказывает, как уменьшить этот шум, чтобы было больше похоже на, например, жирафа. 54:50 - не уверен, насколько это консенсус, что не так с пальцами. У меня немного отличается интуиция. (И пальцы уже пофиксили во всяких Midjourney.) 1:04:44 - «нельзя накосячить что-то внутри» - технически, правда, потому что мы не имеем ни малейшего представления, что там происходит внутри, и никак не определяем (кроме общей архитектуры - мы определяем, в каком порядке перемежаются матрицы, но не определяем и обычно совсем не понимаем, что они содержат). Мы определяем метрику на выходе и находим что-то достаточно случайное, что во время обучения хорошо достигает этой метрики. Проблемы могут быть с определением метрики, особенно если системы становятся достаточно умными (см. reward gaming или примеры ведущих лабораторий об обмане людей, когда люди вовлечены в процесс - например, нейронная сеть вместо поднятия шарика располагает руку между шариком и камерой, чтобы людям казалось, что шарик успешно поднят) и с тем, каких целей нейронная сеть научилась достигать и как их достигает уже после обучения (например, см. статью DeepMind о goal misgeneralisation или что вытворял Bing/Sydney). 1:05:00 - «сложно придумать сценарий использования нейронной сети, который приведёт к вреду» - нейронные сети снижают порог входа к опасным технологиям, в том числе к тому, что раньше могли делать только государства. Anthropic (одна из трёх ведущих ИИ-лаб) говорят и публично в Конгрессе, и на закрытых сессиях, о потенциале разработки террористами биологического оружия с помощью ИИ - много информации и так доступно в интернете, но чтобы знать, что погуглить и что делать, чтобы убить много людей, надо быть типа кандидатом по биологии. В ближайшем будущем, если это не предотвращено, террористы могут спросить агентную нейронную сеть после джейлбрейка, как убить побольше людей, и она им может задизайнить код РНК/ДНК очень заразного и смертоносного вируса и инструкцию, как его отправить в одну из лабораторий, которые печатают белок по коду (20% таких лабораторий, по состоянию на несколько лет назад, даже не проверяли соответствие кода в заказе с базой известных патогенов). Западные правительства начинают принимать меры, но нельзя сказать, что благодаря их усилиям такое точно не угрожает. 1:05:31 - «самообучение нейронных сетей существует, но не в таком виде» - большая часть обучения - предсказание существующих данных; но ещё большая часть - это обучение с подкреплением. Без обучения с помощью игрой с собой ИИ не обошёл бы людей в Го; без генерации данных, оценки данных в соответствии с какой-то моделью, и «самостоятельного» (в соответствии с заданным алгоритмом, но основываясь на результатах собственной работы) улучшения процесса генерации данных не существовало бы ChatGPT/GPT-4. (Комментарий большой, поэтому продолжение в комментарии к этому)

[@MikhailSamin]

1:06:20 - это было правдой до последних нескольких лет, но уже не совсем так. Во время работы нейронных сетей, действительно, не происходит изменения их весов (чисел, которые определяют, что из себя представляет нейронная сеть) - они не могут что-то запомнить для следующего запуска на совершенно новой задаче или новом тексте. Но, при этом, существует так называемое in-context learning. От простых примеров - если нейронной сети дать новое слово и объяснить, как его использовать, она будет успешно во время разговора его использовать - до более сложных (например, DeepMind сначала обучили несколько нейронных сетей играть в разные игры, а потом обучили другую модель-трансформер предсказывать результаты их работы: видеть вход с описанием мира, действия и вознаграждения и предсказывать действия, которые выдавали специализированные нейронные сети; потом этомй новой модели дали поиграть в совершенно новые игры, и она успешно научилась в них играть без обновления весов: просто предпринимая какие-то действия, видя, какое вознаграждение получает, и понимая, как играть в игру. Внутри контекстного окна.)

[@MikhailSamin]

1:09:25 - «выживание ИИ определяется полезностью для человека» - если ИИ недостаточно умный, это правда. Если ИИ ведёт себя так, что людям хочется его выключить, и люди способны его выключить, такой ИИ, действительно, не выживает. Но это не правда, что «таргет - это полезность человеку». При обучении мы определяем другие таргеты, по которым отбираются веса нейронных сетей; как определить таргет, соответствующий полезности людям, даже когда обучаемый ИИ умнее людей, мы не знаем.(Если представить особенно бесполезный, но магический, чайник, который взрывается так, что убивает всех на планете, мы не сможем устроить отбор против него.) Если после обучения мы получаем что-то достаточно умное, чтобы понимать, что не надо показывать людям свою потенциальную «неполезность», ив потеряем возможность отбирать по полезности в самый важный момент. И на самом деле, какой-то мере, в такой ситуации настоящий естественный отбор предпочтёт ИИ, а не нас (см. напр. статью Natural Selection Favors AIs over Humans, arxiv.org/pdf/2303.16200.pdf). Про эволюцию и появление мотивации (скорее общие мысли/комментарии по теме, чем ответ на конкретное сказанное): когда мы обучаем нейронные сети с обучением с подкреплением играть в игры, сначала, мы получаем достаточно случайный набор эвристик: что-то, что нейронная сеть может выполнять и получать больше очков. Например, нейронная сеть видит монстра и нажимает на пробел. Потом, мы начинаем получать агентов: нейронные сети с каким-то внутренним представлением целей, которые они пытаются достигнуть, на каком-то простом уровне. Они могут искать, строить планы и так далее. Потому что наличие целей, достижение которых коррелирует в вознаграждением, позволяет получать больше вознаграждения, чем эвристики без каких-либо намерений. Я не разбираюсь в эволюционной биологии, так что про написанное ниже лучше уточнить у экспертов и не верить моим интуициям на эту тему, но мне кажется, причина существования людей может быль похожей: эволюция - тоже оптимизационный алгоритм: в пространстве возможных генов точки передвигаются в сторону большей inclusive genetic fitness: гены, которые чаще производят свои копии, получают больше точек вокруг себя. Эволюция таким образом доходит до организмов, хорошо адаптированных к среде. Организмы, имеющие цели и пытающиеся их достигнуть, могут, аналогично агентам, получаемым градиентным спуском, выживать лучше, чем организмы без каких-либо целей, имеющие только те адаптации, на которых эволюция наткнулась случайно. И мы - представители вида, который выживал лучше благодаря целенаправленности. Многие из наших целей сформированы позже - эволюционная психология занимается их изучением, и многие были полезны уже локально в первобытном обществе, но тем не менее наличие кучи целей помогло выживанию и оставлению потомства. На этих двух достаточно независимых примерах - что градиентный спуск находит такие веса для нейронных сетей, что они имплементируют агентов с собственными целями; и один дата поинт, что эволюция пришла к людям - я осторожно ожидаю, что это достаточно общий результат определённых типов оптимизации. Мы наблюдаем только один такой результат эволюции, потому что мы первые; если представить, что человечество переезжает куда-то с Земли, оставляя остальное, как есть, я бы ожидал, что пройдёт время и новый вид обретёт способность эффективно достигать целей - хотя медленной эволюции может быть сложно её достичь, такая способность, наверное, даёт достаточно большое преимущество.

[@MikhailSamin]

1:17:43 - Элиезер не призывал что-либо взрывать. Он говорил о необходимости международного моратория на обучение систем ИИ потенциально несущих угрозу. Он говорил, что, при необходимости, можно обеспечивать отсутствие угрозы всему человечеству международным режимом, в котором все понимают, что если кто-то начнёт что-то обучать, коалиция стран будет готова разбомбить датацентр - и поэтому никто не обучает ничего запрещённого и никто ничего не бомбит. Элиезер понимает, что это нереалистично, но считает, что более простые для достижения ситуации не спасут человечества от того, что кто-то сможет обучить систему умнее человечества с отличающимися от наших целями. Если мы играем в шахматы против Stockfish, мы можем предсказать, что проиграем (даже если не можем предсказать все ходы, которые Stockfish сделает - иначе мы играли бы в шахматы настолько же хорошо). Если шимпанзе хочет чего-то, но мы хотим чего-то отличающегося, мы выиграем. Если наши цели отличаются от целей ИИ, который достигает целей лучше нас, мы аналогичным образом проиграем. Юдковский больше двадцати лет занимался техническими исследованиями. До ~2016, никто не занимался популяризацией, работой с правительствами и т.д., потому что все ожидали, что это приведёт к худшим последствиям. Только в последнее время стало понятно, что вмешательство со стороны правительств и общественное мнение могут быть полезны. В этом году руководство всех трёх ведущих лабораторий и двое из трёх получателей Премии Тьюринга за современное машинное обучение подписали www.safe.ai/statement-on-ai-risk. Объяснять, какое есть современное научное понимание проблемы - не популизм, думаю.

[@slawa745]

Немножко поправлю гостя по паре вопросов: вечную жизнь он хочет, просто пока не понимает, уверен что и в 200 лет умирать не захочется, если проблемы старости будут решены. Ну а про эволюцию, я аж 2 раза переслушал, вроде умный с виду, а такое несет, ну какая эволюция, эволюция человека умерла с появлением у него сознания, мы сами на себя влияем и меняем по своей воле, чем дальше, тем больше. Самообучающийся в реальном времени ИИ с мотивацией вполне реальная штука и может быть сделан, со всеми вытекающими.

[@GigazWarezoff]

Я проверил - рецепт свиных крылышек Яндекс приспокойно выдаёт)))

[@Neodimyth]

Хотели бы жить вечно? Нет. А долго? Нет, я бы хотел жить как лампочка, раз и перегорел.

[@MiSaxap]

Спасибо

[@kirilllyubarov2874]

Голос и манера речи Александра один в один как у Михаила Гельфанда)

[@zina_rusina]

54:12 😂😂😂ещё больше удовольствия от интервью

[@Good-dg9sk]

С увеличением автоматизации, роботизации и развитием нейросетей, дойдём и до 7 выходных в неделю😁

[@kalinina15]

ну-ну! =))

[@Good-dg9sk]

@@kalinina15 "выходных" 😁

[@ossorian]

Но не все =)

[@Good-dg9sk]

@@ossorian ну грузчики останутся актуальными😁 Хотя тоже не везде. Есть фирма, которая начинает стройку завода гуманоидных роботов, для переноски коробок на складах. Производительность завода планируется в 10000 гуманоидных роботов в год. Будущее наступило. Шахтёрами ещё можно будет поработать. Там особые требования к технике, из за газа. Так что роботов туда сильно попозже завезут. Писать код ещё какое то время будет актуально, а потом, кожаные, станут совсем не нужны😁

[@user-ot2ds7xh7q]

Кто ж даст людям отдыхать?придумают куда запрячь. на войну например.

[@konstantinlisitsa8443]

Вот отличные у вас подкасты. На много интереснее, вдумчивее и глубже все чем у всяких соколовских, огановых, тарасенковых и прочих сергеймез. У них вроде гости интересные, но совершенно поверхностные вопросы ведущих, вызывают буквально деградацию нейронов. Невозможно их смотреть, а у вас интересно. Жаль только редко выпуски появляются и мало просмотров( Видимо нужен маркетинг тут

[@lazyw1zard]

Тоже думаю, что он один из лучших на русскоязычном ютубе. Хотя если сравнить с иностранными, тем же Лексом Фридманом, то у нас вообще такого уровня подкастов нет.

[@I_am_GMO]

15:28 что за шутка про синдром вахтёра?

[@lasertagdreamer]

"Один неловкий твит снижает капитализацию компании..." Это лишь показывает дутую, спекулятивную сущность этого "финансового инструмента".

[@jeerom]

Вопрос: откуда такая уверенность в безопасности нейросетей если все предыдущие прогнозы были неверными? Не может ли повториться ситуация с поиском картинок в целеполагании нейросетей. Например как некое эмерджентной состояние после добавления мультимодальности и доступа к актуальной информации и управляемым устройствам имеющим некие цели (например медицинское оборудование).

[@antontretyakov1271]

Самая опасная ложь - полуправда. Ролик - наглядный пример сознательного перемешивания лжи и правды.

[@Staub-im-allternet]

невероятно как собеседник разбирается в эволюции/социуме! да, енто у них то же самое, но компетентность безызъянная. [меня поразила просто логика и история...]

[@Daishoung]

Жаль что вопроса про 24 февраля не было. Очень было бы интересно услышать ответ от человека из яндекса

[@Good-dg9sk]

Давно уже всё понятно, с человеками из Яндекса)

[@offiko1]

Ага тут и без ИИ пиздец начался.

[@kostiavalerievich3959]

За ответ на такой вопрос в РФ, увольняют с работы, плюс уголовка за дискредитацию..

[@MaksimVal]

В Яндекс новостях все написано) и по запросу про пукина в их поисковике

[@repka4]

И так, прогноз на 5 лет. Корпорация N создает мультимодальный ИИ. С помощью него генерируется огромное количество реалистичных аккаунтов в соцсетях с фото, видео и тп (тобишь армия ботов 2.0) В итоге корпорация N выигрывает выборы в каждой стране, разоряет любой бизнес по желанию, принимает новые законы, короче управляет миром. Причем, всё происходит незаметно для реальных людей. Только сторонники мирового заговора бьют тревогу, но им никто не верит..

[@DmitryRomanov]

На участки аккаунты тоже придут?

[@repka4]

@@DmitryRomanov Соловьеву до ИИ еще ой как далеко, а вон какое великое дело сделал: люди и на участки пришли и в окопы гнить пошли, надо будет и маму родную продадут. Дело не в участках 😎

[@repka4]

@@DmitryRomanov Аа кстати, про электронное голосование забыли?

[@UNMLIFE]

Я не очень понимаю всегда прогнозы, что ИИ сможет легко влиять на политику. Харари вот говорил, что они вообще завладеют нашей культурой. Но дело в том, что мы не можем принимать любую точку зрения. То, что мы считаем правдой соотносится с нами. Люди выбирают из своих запросов и невозможно навязать им что угодно.

[@UNMLIFE]

Ну и во многих демократических странах электронное голосование? Почему даже если оно будет, его нельзя отменить?

[@Tesla335]

Это перезалив? Практически дословно буквально недавно выходил подкаст с этим гостем у кого-то

[@Tesla335]

Понял, возможно вспомнился подкаст на Основе. Там были похожие реплики и темы просто

[@Alexander-ll9ki]

Илья, вы релоцировались из России?

[@nickcage9762]

Интересно, сколько текстов написанных с помощью ИИ в комментариях к этому видео? Наверняка хотя бы один ИИ тролль найдется.

[@kalinina15]

При капитализме нейронные сети будут работать только на пользу капиталистов же. Просто айтишники станут более сговорчивыми и менее пафосно претенциозными.И соответственно более бесправными. Много раз замечал, что работники этой сферой часто считают себя "особенными", а не каким не пролетариатом(наёмным рабочим). И это коснётся всех профессий рано или поздно. Пока есть биржы труда. А при капитализме они будут всегда. Поскольку капиталисту выгодно, чтобы у рабочего был постоянный страх остаться без работы(конкуренция),чтобы был определённый процент безработных в обществе. Напомню, что для капиталиста зарплаты рабочим проходят по бухгалтерии в графе "расходы". А их надо сокращать.

[@user-be9ih8yo6p]

....Ну когда ты получаешь от 200к до 600к в рублях, то ты как бы... действительно выше обычного человека. Хочешь ты этого или нет.

[@kalinina15]

@@user-be9ih8yo6p а в каком плане?

[@nexurio_russo]

От вас веет левацким духом, не забывайте о личной гигиене. Начните смотреть на процессы в жизни с позиции теории игр. Люди добрые не потому что они благодетельные - в первую очередь, они не хотят нечестной игры от своих соседей, поэтому проявляют добрую волю, ожидая того же в ответ. Система не может придти к всеобщему сотрудничеству, так как в таких условиях крайне выгодна позиция обмана, и использующие обман получат огромный плюс. Но и в условиях тотальной войны всех против всех, где никто никому не доверяет, рано или поздно появятся очаги спокойствия - вынужденного, многие не смогут выдержать войну на несколько фронтов и попросят перемирия... а там и до нормализации отношений недалеко. К чему это всё? Перестаньте думать, что мерзкие капиталисты всех на*бывают, а несчастные простые люди живут на объетках. Такое бывает только на плакатах с буржуями. В реальности мы не убежим ни от государства, ни от налогов, ни от более успешных людей. Мечты о более лучшем строе, чем капитализм - это чушь. Вы сами себе представляете что там будет? Мир, дружба, жвачка? С чего вдруг, если люди не поменялись, а ресурсы всё так же ограничены? У вас есть чёткое понимание как нужно поменять общество? Не пространные рассуждения, а конкретные решения? Тогда оставьте это для тех, кто принимает текущие условия игры, но добивается влияния, которое можно потратить на изменения. И да, капитализм - это экономический инструмент, где почти что угодно можно назвать капиталом, приумножить это и пригласить людей работать, получая за это долю. Рыночная система ориентирована на независимых участников с разным уровнем ресурсов, плановая система - на одного игрока, обладающего властью распределять ресурсы. Обе системы далеки от совершенства, оба идеологических лагеря - это идиоты, ведь можно привести государство к роли мастера, устанавливающего правила игры, получащего процент за благополучие подданных и направляющего экономику в нужное русло, а вопросы реализации оставить на местах, тем более, что относительно-независимым участникам есть смысл не стоять на месте. Звучит как... социал-демократия? Опять европейские либерахи? Закормить людей соцпайками, не замечая проблемы? Может, и так. Но есть ли что-то получше, кроме слепой веры? Как говорил Черчилль, демократия - худшая форма правления... если не считать прочих, испробованных человечеством. Наши системы несовершенны. Но у нас нет ничего лучше, если бы оно было - такая стратегия бы заместила все прочие. И не нужно думать, что жидомасоны с деньгами всего мира не дают развиваться, это уход от практического решения проблем к бесконечной полемике и бесконечной борьбе бобра с ослом Понятно, откуда такие люди берутся. Видя п*здец на улицах своего города, очень хочется пожаловаться на мразей из власть имущих... но поставьте вопрос иначе: что нужно сделать, чтобы они не могли забить на людей, перешли к стратегии сотрудничества и боялись пойти на обман, потеряв больше, чем получат? Ваш Некс -_-

[@kalinina15]

@@nexurio_russo если от меня веет левацким духом, то от тебя просто воняет подростковым идеализмом.

[@nexurio_russo]

@@kalinina15 что самое смешное, я от этого идеализма тоже отрекаюсь. Как смешно, что не видеть везде заговор - это быть наивным оптимистом...

[@IvenIf]

1:06:00 наптминает цикл сон-бодрствования с перезаписью инфы из памяти текущего дня в долговременную

[@user-ur9rt3rr8g]

Classic. Александр Крайнов из Яндекса, который говорит, что нельзя критиковать большие IT-корпорации и, одновременно, больше всего боится того, что мир сегментируется - в следствии чего сегментируются наука с технологиями. Чипы NVidia станут им недоступны - это же караул! И как же, в этом новом мире, им развивать Яндекс.Новости? Тот сервис благодаря которому происходит это разделение.

[@katyanmeow811]

У Яндекса больше нет сервиса Новости, он принадлежит Маил ру, как и Дзен.

[@jeerom]

Ну это просто две разные нейронки говорили, у людей всегда так.

[@mixatoll]

Тому кто сказал что изначально человек работал ВСЕГДА нужно дать по роже ибо изначально человек работал СЕЗОННО! То есть весной сеял, лето растил, осень собирал урожай, грубо говоря.

[@nexurio_russo]

Охотники-собиратели каждый день тратили несколько часов на сбор пропитания, чтобы оставшееся время заниматься праздношатанием. Это видно по современным племенам, капитально их жизнь не изменилась за прошедшие тысячи лет. Даже если запас пищи могли заготовить на некоторое время вперёд, каждый день нужно было заниматься бытовой рутиной. Похожие процессы есть и в аграрном обществе, и в индустриальном, и рутина никогда не пропадала из жизни человека. Но мы возьмём только жизнеобразующую деятельность, то есть работу. Я согласен, что "работали всегда" - звучит некорректно. Скорее всё шло к большей ориентации на сроки и распорядок, с увеличением специализации отдельных членов общества. Это приводило к повышению производительности, что позволило людям освободить себе целые дни от работы. Ваш Некс ;")

[@user-wj2sj9vt4x]

А зимой видимо просто ели и спали на печке. Эх, сейчас бы так 😢

[@mixatoll]

Ну да, картины оказывается ИИ проще рисует😂 только пока ни одной живой картины не нарисовано, а так да, проще) ведь любое сгенерированное изображение это высокая живопись, верно ведь?))) идиоты б%..

[@Good-dg9sk]

Устройства, по типу 3д принтера, в которые закрепляют обычную ручку, уже давно используются. И тексты пишут они красиво. Устройства, по покраске стен, тоже уже испытывают. Объединить эти технологии, добавив им разные краски, с результатами генеративных нейросетей и будут вполне обычные картины генерировать)) Будущее, в котором очередной ряд профессий становится не актуальным, уже наступило. И ничего вы с этим не сделаете. Нужно учиться жить, с новыми технологиями, а не пытаться объяснить, что этого не существует и не будет существовать))

[@bambarbiya3160]

ты когда был последний раз в картинной галерее или покупал картину для дома? вот-вот, а 90% превью на видео уже сейчас создаются при участии ИИ. и прочие графические дизайнерские изображения. почти всё что ты видишь

[@nexurio_russo]

Живая картина - это написанная кистью? Как говорил гость, мелкая моторика для машин гораздо сложнее. Потому что тут две части: представить что-то и воплотить это. И если для "умных" нейросетей это простой вывод на монитор, то для "ловких" нейросетей - это ещё и построение команд для манипуляторов, с учётом расстояния до мольберта, исправлением ошибок и прочими корректировками. Не бойтесь машины, что может направить на вас свою пушку. Не бойтесь машины, что сможет догнать вас. Бойтесь машину, что сможет почистить апельсин. Вот тогда точно п*зда! Ваш Некс xD