Будущее нейронных сетей: Дмитрий Дзюба at TEDxKyiv

Дмитрий Дзюба - исследователь в лаборатории искусственного интеллекта AILEN Lab, младший научный сотрудник Института Проблем Математических Машин и Систем НАНУ, выпускник Физико-Технического Института при КПИ. Он специализируется на рекуррентных и ассоциативных нейронных сетях, а также занимается проблемами нейроуправления, и алгоритмами компьютерного зрения. Помимо этого координирует разработки в области робототехники для экспериментальных исследований созданных систем.
About TEDx, x = independently organized event
In the spirit of ideas worth spreading, TEDx is a program of local, self-organized events that bring people together to share a TED-like experience. At a TEDx event, TEDTalks video and live speakers combine to spark deep discussion and connection in a small group. These local, self-organized events are branded TEDx, where x = independently organized TED event. The TED Conference provides general guidance for the TEDx program, but individual TEDx events are self-organized.*
(*Subject to certain rules and regulations)

[@kuzkindom]

Спасибо, было интересно.)

[@avLexus]

Просто великолепно! Искренно желаю успехов!

[@kovach9036]

Очень классный доклад))разьеснил,особенно концовка))

[@MaelsPrower]

спасибо за наводку,я просто не знал что и как правильно искать,теперь стало значительно легче) В целом,я очень рад,что взял эту тему,узнал очень много интересного для себя,пришлось даже брать атлас по анатомии. Если честно,я даже не надеялся что Вы подскажете,огромное спасибо за отзывчивость)

[@moakimov]

отличное выступление!

[@promoran90]

Отличное выступление! Удачи в разработках! Как студент КПИ поддерживаю на все 100%

[@EgorPlotkin]

Весьма интересная презентация! Хотелось бы узнать про нейронные сети поболее и не в частных случиях

[@Shboy64]

Математика это инструмент реализации идей. И я пытаюсь общаться на уровне идей. Под функциональными признаками я подразумеваю сопутствующие производные параметры образа, которые могут возникать, например, в результате виртуальной фокусировки картинки и служить дополнительными входными данными сети. Под виртуальной фокусировкой я подразумеваю процедуры зуммирования, поворота и смещения по осям.

[@peskarr]

Классное выступление. И очень интересная подача. Гэг про "если вам удалят 20% мозга, будет сложно... собраться с мыслями".

[@Shboy64]

В принципе, я думаю, что нашел ключ к реализации того, что описал. И сейчас нахожусь на стадии решения проблем логически строгого завершения концепции, то есть в соответствии с исходной идеей. Просто есть нюансы, на первый взгляд не важные, но при детальном рассмотрении вскрывается их принципиальная важность.

[@the_3d6]

На уровне идей очень легко говорить, проблема в том что большинство высокоуровневых идей при попытке свести их к конкретной математике приходится или упрощать до полной потери сути, или не получается реализовать вообще.

[@BlotLore]

Да, и спасибо, что говорил по-русски ;-)

[@the_3d6]

Та нема за що, до 2014го я і розмовляв і писав переважно російською ))

[@Estrav.Krastvich]

Именно о таком видео мечтал).

[@Shboy64]

Я мыслю в таком направлении, что образ может обособляться по неким характерным функциональным признакам. Функциональность возникает в динамических процессах поэтому недостаточно иметь одну картинку содержащую образ для для обучения сети. В нейронной сети должен быть механизм узнавания образа из того или иного фона по функциональным признакам. Функциональные признаки могут формироваться из ряда картинок содержащих образ.

[@Shboy64]

Интуитивно я считаю, что на сегодняшний день главным препятствием в развитии технологии нейронных сетей является необходимость в дополнительных операциях подгонки весовых коэффициентов синапсов и смещений передаточных функций. Ведь природный мозг ничего такого не делает. Кроме того есть еще проблема, которая связана с предыдущей. А именно, ограниченность работы таких сетей лишь с одним классом информационных пространств. То есть, например, либо с буквами, либо со слогами, либо со словами.

[@the_3d6]

Ну так то же самое относится и к синапсам мозга. Если вы запоминаете что-то новое, старое вспомнить все сложнее и сложнее. Старые воспоминания перезаписываются или как минимум искажаются новыми, если они достаточно похожи (что, предположительно, как раз значит что синапсы, меняясь под новую информацию, хуже справляются со старыми задачами, забывают старое). Если это называть "выделенными синапсами" - то конечно они есть в нейронных сетях. В том числе, в биологических.

[@the_3d6]

Есть сети, которые обучаются без отдельной процедуры коррекции ошибок (например, прямо запоминая образы). Веса синапсов не принадлежат какому-то одному образу во многих моделях, они являются как раз обобщением "опыта", нет такого что одни синапсы выделены для одного образа, другие для другого - синапсы у образов общие. Проблема в том, что существующие методы хотя все это и делают, но результат не радует. Что-то принципиально важное понять не удалось - но, кажется, проясняется где искать

[@user-gk6eq7rp5s]

В силу того, что человеку надо есть, спать, заниматься семьей и тд, да и просто мы устаем и наши силы ограничены - мы проиграем эту битву, а многие потеряют свою душу.

[@Shboy64]

Например, такая функция как разрыв связи аксона с мишенью. Эта функция дает возможность в необходимых случаях отключиться от последующего нейрона, что совсем не то же самое, выдать нулевое значение. Если мишень это исполнительное устройство, например, драйвер двигателя, то это равносильно отключению режима servo.

[@the_3d6]

Биологический мозг тоже подстраивает связи, непрерывно. Вопрос только в том, как именно это происходит - как только станет ясно, можно будет реализовать это в железе очень эффективно. Ограничений на класс пространств нет - новые сети работают с образами, ничто не мешает обрабатывать одновременно образы разной природы. Просто этого обычно не делают, потому что даже куда более простые задачи еще не решены, но технически нет никаких препятствий

[@the_3d6]

Я время от времени провожу семинары на разные связанные с нейросетями темы, летом видимо я до них не доберусь, но в сентябре продолжу - приходите :) Анонс будет на сайте нашей лабы ( ailen.org )

[@BlotLore]

Мысль насчёт самообучения. Скорее всего сейчас я ляпну ерунду, но всё же... Может стоит добиться такого же эффекта(рефлексии) с помощь самоорганизующихся карт Кохонена?

[@the_3d6]

Поскольку это реализуется на нейронных сетях, выполненных как программы для обычного компьютера, то это не имеет "принципиальных" отличий от действий ЭВУ. Это просто другой класс алгоритмов, который обладает необычными свойствами, такими же как мозг человека, но тем не менее это алгоритмы, выполнимые машиной Тьюринга (в случае динамических сетей, без критерия остановки - но если нас интересует ответ на конкретный вопрос, то этот критерий можно добавить)

[@the_3d6]

Да, это резонно. Наверняка современные модели нейрона слишком просты, по крайней мере биологические нейроны устроены заметно сложнее моделей. Только сначала надо понять как именно его усложнять...

[@user-zd5im8sz2c]

Дмитрий, а ваши разработки по распознаванию слов основаны не на работах Джефа Хокинза и компании "Numenta" по иерархической темпоральной памяти?

[@Shboy64]

Я веду к тому, в искусственных сетях можно было бы использовать более умный нейрон, который может в зависимости от входной информации сам выбирать и устанавливать нужный вектор весов своих синапсов. Это, я думаю, значительно расширило бы возможности нейронных сетей.

[@MaelsPrower]

Дмитрий,пожалуйста,дайте ссылочку на схему циркулирующей сети.Это наверное дико прозвучит,но посмотрев это видео я задался целью узнать побольше о развитии ИИ и нейронных сетей,а так же рассказать об этом на конференции в институте.

[@felis2803]

Сайт, который вы указали, закрыт. Есть ли иной способ получения информации о вашем алгоритме искусственного нейрона?

[@PIRATuk]

Круто встречать запись с твоим преподавателем на главной хабра

[@Shboy64]

искусственный процесс зависимости это как раз самое простое. Сложно другое, создать адекватный интерфейс, между машиной и программистом чтобы программист имел возможность программирования такой зависимости у машины. Чем умнее и способнее машина, тем сложней процесс такого программирования. Если исходить из того, что человек придумывает машину, то тот же человек в состоянии задать машине соответствующие зависимости.

[@the_3d6]

Если речь идет о программе, реализующей нейронную сеть, то для нее уместно применять термин "вспоминать" - т.к. активность нейронной сети может как соответствовать тому, что в нее когда-то записывалось, так и не соответствовать, в зависимости от того, что с сетью делалось. Для обычного электронного устройства память либо сохранилась, либо безвозвратно разрушилась. Для нейронной сети, как я показывал на видео, ситуация другая - разрушенную память можно восстановить. Так что отличие есть.

[@AlexAetM]

А есть ли в сети исследование, наподобие вот вашего примера с «воспоминанием» на примере искусственной нейронной сети?

[@the_3d6]

Ну... Практика - критерий истины, что тут еще добавить...

[@Shboy64]

Кроме того, нейрон имеет собственную способность обучаться как сходящаяся мини сеть, либо нейрон представляется как устройство с собственной базой данных весов своих синапсов и соответствующих откликов аксонов.

[@Shboy64]

Текст вам отправлен.

[@Shboy64]

Проект BlueBrain это отдельная тема. Я не сторонник такого подхода, и считаю, что следует концентрироваться на том, что обучаемая система должна прежде всего быстро и точно обучаться в заданной информационной среде.

[@davidmk1872]

Добрый день ! Это поразительно 👍 указанный сайт не работает, не могли бы мне на почту скинуть информацию о Вашем алгоритме нейронных связей ([e-mail]) буду очень признателен

[@Shboy64]

И еще, природный синапс растет не из-за увеличения веса связи, а из-за накопления информации. Упрощенческий взгляд на функцию природного синапса ведет в тупик в попытке смоделировать нейронную сеть для построения искусственного интеллекта.

[@the_3d6]

Оказалось что я не могу тут отправить ссылки... Можете поискать например наши работы по фамилиям Dziuba, Reznik. Но мало что есть в свободном доступе... Или лучше пишите в скайп - the_3d6 - я расскажу детальнее, пришлю наши работы и дам ссылки на другие :)

[@sciencetechnology9167]

Эхх, украинцы какими мы были наивными в 2012 году :/)

[@the_3d6]

Так, багато чого змінилось... ))

[@BlotLore]

Хочется увидеть модель. Желательно в исходниках.

[@LiberusVEC]

неужели готовится выход модификации?

[@Shboy64]

Возвращаясь к нейрону я хотел бы отметить следующие вещи. Во-первых, действительно, работа природного нейрона довольно сложна и включает в себя огромное количество разных электро-химических процессов. Тем не менее сейчас уже известны функциональные возможности природных нейронов, которые никак не применяются в искусственных нейронах. Например, аксон нейрона не только передает сигнал, но также отвечает за образование либо элиминацию связи с мишенью. Однако в искусственных сетях эта функция игнори

[@user-xg1nz7ij4v]

Как можно сконтактироваться с Дмитрием Дзюба?

[@the_3d6]

Ну... Будут какие-то вопросы - пишите, постараюсь ответить :)

[@the_3d6]

Никто не мешает вам построить соответствующую модель, которая учтет все эти особенности. Но, собственно, проект BlueBrain вроде что-то похожее уже сделал - проблема понять результаты. Я лично работаю с наиболее сложной моделью из тех, чье поведение полностью могу понять. Мое понимание постепенно улучшается, но то что вы описали - значительно сложнее, чем мой уровень сегодня.

[@the_3d6]

Вообще сложный вопрос, что же именно происходит в синапсе. Упрощенно на него никто не смотрит, однако сама фраза "там идет накопление информации" без конкретных формул ничего не значит, этот процесс может реализовываться миллионами разных способов, вопрос в том, какие из этих способов к чему приведут.

[@BlotLore]

Это я к тому, что программистам будет интересно пощупать твоё исследование и желательно понять. Ладно, ладно... это лично моё желание =) Правда в матане ничего не понимаю, поэтому и написал об исходниках. Неплохо бы демку смастерить, которую можно наглядно отладить. Ведь вся затея с лекцией ради популяризации, верно? А программистов, непонимающих матан, достаточно много, к сожалению. Впрочем, будет стимул изучить данную область. В любом случае, спасибо.

[@Shboy64]

Например многие животные способны выделять образ только если образ находится в движении, то есть опять идет речь о динамике как и в процедуре виртуальной фокусировки. Разница лишь в том с какой исходной картинкой идет сравнение.

[@the_3d6]

Да без проблем, только мой код не то чтобы читаемый или пригодный к какому-либо использованию

[@the_3d6]

Эмоции почти наверняка станут понятны, когда в деталях прояснится механизм мышления. Уже сейчас можно строить догадки на их счет, конечно пока не обоснованные, но все же. А вот насчет того, что похожее поведение не доказывает похожую суть - не согласен: если похоже и поведение, и структура, то очень маловероятно, что суть при этом в корне другая

[@MikeVentris]

Не забудьте, по возможности, уведомить хабрасообщество :)

[@TheMolodoy2010]

нашел для себя занимательным!

[@chexx732]

меня , как специалиста в области электроники , интересуют низкоуровневые процессы эквивалентные термину " вспомнить " , т. е. те физические процессы в нейронных сетях , комплекс которых вы и определяете как " воспоминание " нейронной сети , возможно формат ваших лекций не предусматривает подобный экскурс в столь специфическую область знаний ,,,,

[@chexx732]

,конечно любое вычислительное устройство имеет возможность " думать " и " вспоминать " если иметь ввиду действия которые целиком и полностью обусловлены заранее заложенными в него программами , но вы конечно же не это имели ввиду мне кажется,,,,, (это под силу любому подходящему по мощности компьютеру ) , а нечто , принципиально отличное от действий ЭВУ по возможностям ,,,,,,

[@Shboy64]

Как же это нет такого, что одни синапсы выделены для одного образа, другие для другого? Фактически так оно и есть. Просто сети имеют заведомо избыточное количество связей. Если, например, вес синапса в процессе обучения одному образу оказался равным нулю, то это значит, что данное значение оптимально для данного образа. Если при обучении другому образу вес этого синапса необходимо изменить, то понятно, что это нанесет определенный вред для узнавания предыдущего образа.

[@Shboy64]

Биологический мозг подстраивает связи в процессе обучения, при этом не используя отдельной процедуры коррекции ошибок, то есть online. И новые и старые сети работают с образами. Но речь о другом. Для каждого отдельного образа находится свой векторный массив весов синапсов, которым и наполняется сеть. Этим все и ограничивается так пишут в разных статьях. Вообще то я считаю, что концепция весов страдает одним недостатком, она нивелирует ценность разнообразия полученного опыта.

[@Shboy64]

Однако если речь идет о нейронной сети, то есть вещи, которые не стоит игнорировать именно для скорости и точности ее обучения.

[@misterdasb]

чтобы создать искусственный разум. надо создать искусственный процесс зависимости. от сюда и все начинается.

[@the_3d6]

Не ерунду, действительно я пытался построить аналог Кохонена, развернутый во времени. Но оказалось что я не могу про такие штуки ни ничего внятного сказать, ни как-то управлять их поведением (оно было занятным, но все же значительно проще того, что на видео), так что я забросил эту работу на довольно ранней стадии

[@the_3d6]

Да, это было бы здорово, но к сожалению до такой штуки, с которой можно всерьез поиграться, еще как минимум год работы... То что на видео - примерно как proof-of-concept, а непрофессионалу в нейросетях для работы с этим нужно состояние примерно соответствующее технодемке.

[@Shboy64]

По электронной почте.

[@the_3d6]

Выступление на тед в принципе не подходит для такой детализации, как по формату, так и по аудитории. Но низкоуровневые процессы там просты: активация разных групп нейронов в разные моменты времени, математика там простая

[@twisted_void]

Скарей же сделайте меня умным киборгом :) где можно записаться в очередь?

[@chexx732]

интересующимся темой посоветовал бы книгу " тени разума " Роджера Пенроуза , и отсоветовал бы смотреть всякую хрень на ютюбе

[@the_3d6]

Чуток с намеком, да ^_^

[@Shboy64]

А я все-таки думаю, что в нейронных сетях не должна использоваться особо сложная математика. И именно в этом их достоинство. Если пошли математические дебри, значит проблемы с изначальной идеей. Например, я считаю именно идейной ошибкой использование многослойных сетей. Слой должен быть один. И это все упрощает. Дополнительные слои служат лишь введению дополнительной избыточности синапсовых связей. Однако я уверен в существовании более простого подхода.

[@ninaponimash4621]

E gkjcrbü xthdtq/

[@zahar_AI]

Обучаете чем, градиентный спуск? Нейронная сеть это же просто аппроксиматор функции от многих переменных. И мышления у нейронной сети нет, даже у рекуррентной. И ИИ вы не создадите, хоть сколько таких сетей соедините!!! Вы читали про самоорганизацию нейронов, поведение нервных клеток и химические синапсы, как же Вы ЭТО приделаете к мозгу, как наладите нейроэндокринную деятельность??? Мы максимум сможете поиграться с автоассоциативной и гетероассоциативной памятью.... Нейронные сети(биологические) до конца не изучены! Вы уверены что сможете смоделировать то что не изучено?

[@zahar_AI]

Дело не в этом, он говорит за определенный инструмент, и этим инструментом та проблема за которую он говорит не решается! Создать ИИ можно(это мое личное мнение), но не таким способом. И его заявление о возможности встраивания чипов в мозг я считаю некорректным.

[@Andrey-xk7ku]

Думаю сеть нейросетей может создать полноценный ИИ. Если философски подходить - то простая нейросеть это как функция некоего процесса, будь то распознавание образа или выбора наилучшего варианта из возможных. А если мир действительно полностью логичен и поддается описанию языком математики, то сеть нейросетей в процессе построения ИИ имеет большие перспективы. Да, теоретически, возможно, нужно будет еще чем-то дополнить такую супер-сеть - а может и не нужно будет, но как важный и, возможно, один из фундаментальных составляющих такая структура является точно.

[@zahar_AI]

Вы работали с ИНС? Они же абсолютно тупые, просто распознают картинки, но мышления там и близко нет!)

[@the_3d6]

Нет, не градиентный спуск. То о чем я говорю на этом видео, обучалось как ассоциативная память, решением обратной матрицы псевдоинверсным методом (впрочем конкретный метод неважен, важен подход в целом). Вы очень плохо себе представляете как работают нейронные сети, все что вы говорите верно только для перцептрона - есть много совсем других подходов. Я впрочем давно оставил эту работу, там нужно сделать определенный переворот на который меня пока не хватает, но принципиальных недостатков у нейронных сетей нет. Надо только видеть чуть больше чем старые, давно изученные модели.

[@zahar_AI]

Я работал не только с персептроном, но так же и со сверточными, LSTM сетями и с иерархической темпоральной памятью, но ни одна из известных мне архитектур не способна на логическое мышление, их можно использовать для "хранения" информации, для задач регрессии и классификации, но не для мышления.

[@Shboy64]

Человек, в принципе, это тоже машина. Машина очень совершенная, способная обрабатывать в реальном времени невообразимо огромный поток информации.

[@the_3d6]

>в ней нет и не может быть ничего кроме заложенного туда программистом кода Но это же неверно в корне. Нейронные сети обучаются на примерах, а не программируются. Если это считать программированием - тогда надо называть программированием и процесс обучения человека.

[@the_3d6]

Пенроуз вообще верит в квантовые эффекты в нейронах, и невычислимость сознания. Прочитать конечно полезно, чтобы увидеть его аргументы и специфику рассуждений, но присоединяться к его вере просто потому что он авторитет - совершенно не обязательно :)

[@user-ee4sx9ml8o]

А я не верю, я знаю. Он прав.

[@s0urcer]

Про эмоции необоснованные утверждения, имхо. Пока никто толком не может сказать даже что это такое и откуда берется, т.к. это поднимает вопрос о том что такое сознание и т.п. Поэтому говорить о воспроизведении эмоций в искусственном виде немного преждевременно :) В остальном достаточно интересные аналогии между простыми мат. моделями и поведением настоящего человеческого мозга, которые тем не менее никак не доказывают возможность воспроизведения последнего только за счет этих мат. моделей.

[@vladimirgavruk]

Попытки создавать интерфейс для общения с ИИ до того. как создано само ядро ИИ выглядит нелогично...

[@dmitrys4074]

Зачем ему два микрофона?

[@the_3d6]

Нет, несмотря на то, что я согласен с его основными идеями, наша разработка не имеет с HTM фактически ничего общего

[@iamtechosenone]

Футболка очень хороша

[@tshalf]

Хотите эмоционально богатых выступлений - смотрите телемагазин по телеящику. Ну или Великого и Неподражаемого Стива Балмера.

[@user-wc7jj9xv9k]

научил же )))

[@nsajba]

Моё мнение - это конечно круто и наверняка будет полезно, но забегать настолько вперёд ( по поводу создания ИИ эквивалентного человеческому ) не стоит. Оратор явно слабо знаком с нейробиологией. Связи между живыми нейронами намного сложнее и даже принцыпиально отличаются. У наших нейронов много разных специализаций, они могут суммировать не только пространственно но и по времени (когда частый сигнал на одном не сильно веском дендрите вызывает активацию), куча обратных связей, активация генов и наращивание/уменьшение числа рецепторов на постсинапсе и пресинапсе, рост дендритов и аксонов в конце концов! (А это изменение топологии сети), около 10-ключевых медиаторов и более 50 - ти пептидных с рецепторами разного типа к ним.. NMDA рецепторы с магниевыми пробками - ключевые в работе памяти и "вспоминании" , принципы их функционирования совсем не такие. Я бы сказал что ваша нейросеть очень отдалённо копирует некоторые характеристики живых сетей. И правильно подметил предыдущий комментатор - даже нейробиологи "на режущем крае" науки имеют дело только с частичной картиной и очень многое ещё не ясно. Наше сознание ещё предстоит изучить..

[@the_3d6]

Связи между живыми нейронами сложнее и отличаются, но _не_ принципиально. Это технические особенности реализации, а не другое качество. Обратные связи в модели есть, а вот механизма выбора что нового запоминать (который в мозгу реализуется ростом дендритов/аксона) - нет, и именно это проблема модели, а не сложность биологии. Я не придумал как эту проблему решить, и ушел в другую область. Если когда-то придумаю - вернусь и сделаю сильный ИИ ))) Нейробиология - способ понять что происходит не придумав модель, а исследовав то что есть. Как реверс инжиниринг. Абсолютно рабочий инструмент, и конечно надо его использовать - но не вместо, а параллельно с придумыванием модели. Скорее всего часть ответа будет придумана теоретически, а часть получена реверс инжинирингом. Но не надо молиться на биологию. Ее надо понимать чтобы использовать как следует, спору нет - но это не святой Грааль, модели надо повторить суть того что происходит, а не в точности все механизмы с десятками медиаторов.

[@leonidyusupov6114]

А что скажете теперь?)

[@the_3d6]

@@leonidyusupov6114 тепер скажу що знайшов один цікавий механізм на якому можливо і вийде побудувати те, до чого раніше я не знав як підійти. Але на жаль зараз трохи нема часу на теоретичні дослідження, реальність вимагає практичних рішень

[@user-ye6ys9rn7z]

Не ванганул а спрогнозировал

[@Shboy64]

Приглашаю Вас на мой сайт cleverneuron.ucoz.ru ознакомиться и высказать свое мнение по поводу алгоритма искусственного нейрона выложенного там в статьях.

[@chexx732]

термин - " вспомнить " теряет смысл когда речь идет о сети состоящей из неких электронных логических вентилей , поскольку в ней нет и не может быть ничего кроме заложенного туда программистом кода и данных,,,,,и очевидно в контексте вашей лекции требует как минимум тщательных объяснений кои и надеялся бы найти в одной из ваших будущих лекций

[@felis2803]

[e-mail] - мой адрес. Буду весьма признателен, если пришлете.

[@Shboy64]

Не аксонов, а аксона, естественно.

[@tubenekapb]

эмоция - это реакция на внешний раздражитель.

[@skol101]

Да чо, розмовляв би українською, хтось зробив би субтитри. От велика проблема розуміти "братню" мову, правда, братішка ?)

[@the_3d6]

Насчет выделения образов: создать нейронную сеть по сути значит придумать способ ее учить. Не могу вдаваться в подробности тут, но в моих статьях написана эта математика, она собственно и есть достижение - остальное только демонстрация результата. А о функциональных признаках на сегодняшнем уровне понимания нейронных сетей говорить еще рано, математически это хрен сформулируешь конструктивно.

[@the_3d6]

Незатухающая, и очень медленно выходящая на устойчиый цикл. Да, такты строго последовательны - следующий начинается тогда, когда все состояния нейронов обновились

[@sciencetechnology9167]

У машин нет эмоций и им их не дать!

[@AlexAetM]

У людей нет эмоций и их им не дать!

[@toxadx]

Очень эмоционально бедное выступление. Даже не стал смотреть.