Нейронная сеть. Часть 8. Переход между картинками.

Простые эксперименты с нейросетью.
Переход от одной картинки к другой.
Вариант на Python
github.com/foo52ru/img2img
Вариант с использованием Tensorflow
github.com/foo52ru/img2img_te...
Выражаю благодарность тем, кто поддерживает меня финансами.
Реквизиты для финансовой поддержки можно найти в
/ foo52ru

[@optozorax]

Поздравляю с программистским ростом! Исходники на гитхабе и использование tensorflow - это круто)

[@cyanmargh]

так-то использование tensorflow попроще, написания своей либы будет) рост в какую-то другую сторону получается.

[@CrazyPit]

@@cyanmargh для меня написать свое проще. работать с чужим кодом сложнее. чужие библиотеки использовать ужос

[@cyanmargh]

@@CrazyPit ну это смотря, как хорошо писать. Библиотку для МЛ и я то написать могу, но не такую уж и обширную и быструю (зато свою))). Нужно ведь для оптимизации, как минимум, знать нужные алгоритмы (например, FFT/FFT2 для свёртки) и знать про программные способы ускорения (кеширование, интринсики, деление на потоки и, в конце концов, запросы к gpu). Я, например, этим пользоваться могу с очень большими трудностями и даже понятия не имею, сколько ещё подобного упускаю. upd. судя по вашему аккаунту, вы и без меня понимаете, насколько это всё может быть трудно.

[@inbuckswetrust7357]

@@CrazyPit устанешь писать ;)

[@Vedeney87]

Спасибо!

[@dackfrog_123]

...

[@Zumon_label]

Кто еще не понял - этот чел гений))

[@mshigaev1564]

Не гений, а фашист, который своей работой помогает власти на нас паразитировать

[@wugu42]

Шаман, тут пациент галоперидол забыл принять!

[@CrazyPit]

@@mshigaev1564 вы бы сначала почитали кто такие фашисты, где они появились, что делали и для кого, как приходили к власти. а потом бы и решали кто тут кто

[@DarkErit]

Интересные сны ждут после видео

[@user-vm1hi7bo5s]

А чтo, eсли... прoсмотр этиx кaртинок нaвсегда измeнил твoи "дaлекие oт выхoда" нeйроны, и тeперь иx фaнтомы бyдут прeследовать тeбя в жи3ни, слoвно тe бyквы oт прeдыдущего изoбражения нa перeобучившейся нeйросети? Нeт.

[@Woodreack]

@@user-vm1hi7bo5s ты предсказал новую теорию заговора по типу боязни вышек 5g

[@CrazyPit]

@@user-vm1hi7bo5s что значит нет.. правильно говорить может быть. или доказывать обратное

[@cropinghigh]

@@user-vm1hi7bo5s ну в общем, так оно и будет, память то епта работает тоже на нейронах, и просто сам факт того, что ты видел эти картинки, уже поменял сначала кучу нейронов в кратковременной памяти, и если мозг решит запомнить это, то сохранит уже в долговременную память, где до деменции или альцгеймера, или смерти, будут лежать

[@forestergogo]

@@CrazyPit нет

[@dev_via_fun]

Ваш контент уникален! спасибо за такой качественный и познавательный контент среди всей серой массы которая наполнилась на ютубе.

[@user-si1un2cy6v]

На самом деле, уже давно наблюдаю за вашим каналом, и всякий раз удивляет разнообразие и широкий диапазон применения нейросетей в ваших экспериментах. Плюс, грамотно смонтированные ролики, подача и своеобразный юмор повествования. Огромное удовольствие от просмотра вашего контента. Спасибо большое! Так держать! :))

[@wolfikgame5682]

Как всегда очень интересно и познавательно. Особенно удивляет, что копия нейронки переученая с кубиков на надпись, при новой задаче пробует ранее верные значения, сильно удивило)

[@lorem727]

Эти ролики должны набирать миллионы просмотров! Уникальный контент среди серой массы

[@user-hb5rd1hy9h]

Техношаман. Мне кажется ты приоткрыл тайну человеческой памяти . . .

[@kts1381]

Вспомнил про канал, решил проверить, а тут новый ролик. Лайк!

[@Uchuunokanata]

Классный канал Классная аудитория Тут сидишь прям и наслаждаешься всем чем только можно

[@sergeyv7164]

Ты монстр! Здорово! Рассмотренная задача, обычно решалась морфингом. А тут очень оригинальный подход к переходам. Спасибо!

[@vyacheslav_sharovarov]

Поорал с "да я рэпер", благодарю)

[@cheburek5116]

Ура новое виде, как я долго ждал

[@user-fest]

ООчень интересное видео, давно ждал уже на этом канале)) Спасибо!

[@user-un2mo6dq6b]

Классные эффекты вышли!

[@acidnik00]

Очень круто! Я бы поэкспериментировал с другими цветовыми моделями, почему-то кажется, что здесь подошел бы yuv

[@George-vm7yl]

8:36 > Да я репер Что?)

[@Natural_Mindset]

4:17 он ещё и ЛКГБ

[@toms_ekb]

Питон увидел впервые, И руки у меня кривые.

[@George-vm7yl]

@@toms_ekb :DDD

[@user-lv1wy5jp8f]

Спасибо, хорошее работа... Ждем снова от тебя новое видео...

[@user-ym4mb2gq1k]

Автор канала мега крутой!

[@alcortazzo]

Спасибо за интереснейшие видео!

[@dmistep3811]

Мужик, ты крут! Жду следующих роликов.

[@Tolyan_Kochyan]

Короче, очень классный канал. Офигенные ролики! Спасибо, за то, что заинтересовал изучать нейросети)

[@drseedon]

Как обычно, под конец ролика иду ставить лайк, а потом обнаруживаю что лайк уже поставлен :)

[@user-su8ev4cm8h]

Ниииииичего не поняла.. но посмотрела с огромным интересом. Благодарный комментарий.

[@pomatuchto]

Очередной топовый ролик. Мотивация и вдохновение

[@user-ff1sd6wl1h]

Очень интересно! Поздравляю со знакомством с библиотеками для нейронок)

[@Popandopulus2008]

Я всё жду следующую часть про деревья!

[@KIRITO_222]

Круто получилось, особенно с Малевичем!

[@auxnibauxnib7494]

Спасибо! Невероятно интересно :)

[@greenred3153]

Очень понравилось. Прямо искусство.

[@SMVK]

Вау! А что если похожее сделать но со звуком??? Интересно было бы услышать музыку которую запомнила нейросеть !

[@Arbuz-man]

Неееееет

[@llllllllllllllllllllllllll4345]

мне тоже очень интересно !

[@alexeyzabashta]

Небольшой речевой нюанс. Современный алгоритм обучения сетей (функций) - минимизация функции потери (ошибки) градиентным спуском. Собственно всякие библиотеки типа TensorFlow - это и есть библиотеки для автоматического дифференцирования, то есть они вычисляют производную (градиент) по составной (сложной) функции. Только они специализированы под задачи глубокого обучения. Метод обратного распространения ошибки - это старый метод для старых архитектур, когда люди ещё не знали, что такое производная и пытались переизобрести её специально для "нейронных сетей". Но так уж получилось, что его название до сих пор используется для автоматического дифференцирования. Дело в том, что производная функции потери квадрат разности совпадает с ошибкой, поэтому трудно заметить подмену.

[@NewStoryline]

Ура! Дождались!

[@Valentin_I]

Оч нравятся ваши видосы 👍

[@startend007]

Молодца содержательно😊👍

[@ksviety]

foo, ты акутненный, делай видео чаще пожалуйста. а то раз в пару лет редко слишком

[@Habray]

Ура новый как и всегда интересный ролик

[@SanyaSanyavich]

Ты сделал мой день

[@user-kq9zf8vu3d]

Видос супер!!! Есть идея, как ускорить в 5 раз написание программ, а следовательно и выход видео. Можно использовать 5 пальцев, а если ещё и вторую руку, то получим ускорение в 10 раз))))))))))

[@RikiNaxx]

боже ты лучший на ютубе отвечаю

[@user-yw3ox8sq2z]

хорошее, познавательное видео

[@atlasua2021]

Было бы полезно, сделать небольшой плейлист о создании нейро-сетей, от А од Я. Спасибо за твои видео!

[@user-oz6jf6fr8w]

2:05 - 2:15 Офигеть!! Я то думал как оно может быть реально, а всё вот так гениально и просто. Разве что куча картинок это не супер удобно возможно.

[@neonsun6162]

я понял, тебе просто было лень делать анимации самому) Но проект получился очень интересный :)

[@nikassaiopend8699]

Поставил лайк на второй минуте просмотра(31 минута с момента выпуска!)

[@stas_v]

Супер!

[@user-ub6cv6nk5u]

Тот самый программист, который печатает код одним пальцем.

[@Arbuz-man]

А надо 20!

[@kirilm172]

Так как весов много, можно было поэкспериментировать с алгоритмом их замены. Например, линейно (от первых слоев и до выходных, после можно и в обратном направлении), по спирали и тд. Так можно было бы добиться разных переходов при одних и тех же НС.

[@user-bj7ll1kv9d]

Алгоритмы перехода будут очень по-разному работать на НС с разными архитектурами, экспериментировать нужно

[@bottlekruiser]

Идея для алгоритма перехода: промежуточные комбинации случайно инициализированных обученных на одной картинке моделей дообучать

[@naumoff6407]

Тоже приобрел эту книгу. Очень интересная. Хоть я далеко и не программист.

[@JimiDini]

Круть!

[@topsell9397]

Отлично!

[@COMBATMONC]

Очень интересный канал

[@oleksandrklimenkov5988]

Картинки, которые находятся "между" крайними целевыми -- это картинки, которые получались в результате обучения сети, как я понимаю. Если есть доступ к весам сетей, обученных для двух картинок, то можно сделать ещё сети с интерполированными весами от первой картинки ко второй и посмотреть и сравнить картинки с использованием этой интерполированной сети.

[@DenisSvistoplasov]

А еще переходы от одних весов к другим можно очень по-разному делать (все веса одновременно; послойно от входа к выходу; послойно от выхода к входу; некоторая доля рандомных весов за раз; волной...). Жалко, об этом не было рассказано.

[@user-dh7lr6dm2f]

2:45 очевидно что просто недостаточно слоев и юнитов в них, поэтому нейросеть ни как не может подобрать подходящую комбинацию для 100% копирования. Раз мы хотим получить 3 выхода значит надо 3 слоя

[@MaxiRPD]

А мне кажется недостаточно нейронов а скрытых слоев как раз слишком много. Точную копию по входу можно получить в 1-м скрытом слое с числом нейронов приближающихся к числу пикселей. По сути эти 3 выхода несут одно свойство "цвет". И если взять другое представление (скажем hex код цвета а не RGB) - они вместе станут 1-м нейроном в выходном слое.

[@user-zd4is5sp9z]

Спасибо...

[@darkfrei2]

Как всегда прекрасно! Очень понравился результат с Малевичем, кто сказал что ИИ (слабый) не может рисовать как художник?

[@Achmd]

т.к. нейронка - это обычная функция с множеством коэффициентов, то точнее всего будет та, где количество нейронов сопоставимо с количеством пикселей в изображении.

[@CrazyPit]

так то да но нет. это функция у которой коэффициенты меняются в зависимости от входящих данных. у других функций коэффициенты являются константами. и да чем больше тем лучше. тем дольше обучение

[@Achmd]

@@CrazyPit веса и есть константы. В обученной сети они уже не меняются

[@arduinochel4197]

хорош, для перехода сделал ИИ

[@CrazyPit]

интересное видео

[@dimarusful]

Интересно что психоделики приблизительно также объединяют картинк.

[@forestergogo]

балдеж

[@DinKorso]

Только не бросайте канал, пожалуйста

[@SSEF1000]

молодец

[@Ruslan_Dikiy]

Круто! Жаль что нифига не понятно)

[@BlackPulsar13]

Лайк, подписка, бубенцы!

[@user-pg7zm2id6k]

Добрый день. Очень интересный контент. Даже захотелось узнать побольше о нейросетях. Что посоветуете почитать после Тарика Рашида? Кстати, за совет почитать Тарика - спасибо. Очень доступно написал человек о нейросетях. Жалко только, что мало. )

[@user-oh9zd5cd2i]

Быстрее продавай переход между картинами малевича за NFT-токены, получилось очень красиво, ктонибудь да купит)

[@anon3696]

Еще переход можно делать самим обучением. То есть например обучил 100 эпох, составил картинку и тд

[@baukaalimgazy2989]

сейчас так и работает у него

[@user-hm3io8bi4b]

Проверил, нельзя. Обучение идет так: катринка1: эпоха1: фигня эпоха2: фигня эпоха3: фигня ... эпоха100: норм начинаем учить катринке 2: эпоха1: резкий скачок, получается фигня совершенно непохожая на первую картинку и чуть похожая на вторую эпоха2,3,4,...: фигня постепенно становится похожа на катринку2 эпоха100:норм катринка2 Избавиться от скачка не помогает даже снижение learning rate на порядок Кстати, интересные результаты дает использование hsv вместо rgb

[@user-ll6ef3by4p]

Попробуйте вместо RGB использовать HSL

[@chegleeff]

👍👍👍👍👍👍👍👍

[@bighamuster7149]

Теперь тоже самое с двумя треками , плс :)

[@t-lore4413]

А колокольчик работает)

[@WarMusic2022]

А если после 5 обучения подкинуть нейросети картинку под номером 1 как быстро пройдёт переобучение? И если в процессе обучнния например 20 картинок каждую 3(5) подставлять картинку с "тв шумом" или грязную картинку востановит? Спасибо за Ваше время и Вашу работу!!

[@user-ql7zh4zk6q]

Бро, дам совет. Зайди на Клавогонки. Пару месяцев соревнований и будешь печатать всеми пальцами в слепую до двухсот символов в минуту. Один раз сделал и забыл на всегда, что значит смотреть на клаву.

[@TheMrKMen]

Тут лучше использовать цветовую модель YUV. Возможно она как-то натуральнее переходы между изображениями показывать будет нейронке проще

[@user-fg2xn1zo4h]

1:57 "Хочешь знать откуда у меня эти шрамы?"

[@ookageookage]

Народ, подскажите а как используя несколько нейронных сетей сделать переход? Все так как и говорил автор в начале видео: делать переход между весами слоев с шагами в % от разницы?

[@vladthemagnificent9052]

Впечатляюще, что всё это закодировано одним пальцем

[@DoctorFikus]

А что, если такую технику использовать для интерполяции кадров в видео/анимации с низким фреймрейтом?

[@ilyailyailyailya]

переход к лайку через кубики - так работают детские психологические травмы

[@vitalica74]

"Настоящий доктор может сказать о себе, что он дурак".

[@racomful]

Я наверно запоздал с предположениями, но что если мы возьмем сеть по типу LSTM в связке с RNN? Научим сеть менять картинки самостоятельно без постоянного переобучения. По итогу: будем подавать начальную картинку и конечную, тем временем сеть будет экстраполировать временной ряд из двух кадров во множество. И обучать надо всего один раз.

[@1antonioorlo1]

Интересно, а сжатие картинок и даже видео таким способом может оказаться эффективным?

[@Programmist-ej2ib]

А я могу как-нибудь воспользоваться этой нейросетью? Нужно скомпилировать как-то файл из репозитория?

[@annel0]

*А если обученной нейронной сети дать координаты которых небыло на изображении, допустим изображение 100х100, а если нейронке дать от 101 до 200, что будет?*

[@arthur_koba]

Машина восстанет

[@annel0]

@@JustDux что конкретно она нарисует, это меня интересует. "Да я репер"

[@annel0]

@@JustDux, да, я смотрел, но а если уже обученную нейронную сеть обучать другой фотографии, но не входить в рамки пред идущей, типо фото 100х100, а начальная координата для новой фотографии 101х101: 1. как будет изменятся прошлая фотография ? 2. Сможет ли она нарисовать прошлую и обучиться новой? Хм-хм-хм.. Какие-то философские вопросы)

[@Alekseev95]

рекомендую GAN и свёрточные слои для этих целей

[@anatoliyvasilev4658]

Для плавного перехода между лицами можно использовать "Conditional VAE"

[@CensorsGoToHellWatchKittens247]

Прикольно =) Но я поначалу не очень понял, как осуществляется переход-анимация. Ведь на вход подаётся _только_ координата пикселя. Теперь, кажется, догадываюсь: просто для разных кадров использовались разные "снимки" нейросети и впоследствии были склеены в анимацию. (Верно?) А что, если на вход подавать ещё и вектор, некий дескриптор картинки, которой обучаешь, а потом, когда нужно получить из нейросети, выучившей все картинки, новую картинку, подавать новый вектор-дескриптор? Вектор-дескриптор картинкам можно выдавать случайный, а можно составленный по какому-то определённому принципу.

[@Arbuz-man]

Процесс переобучения фиксируется и превращается в эту анимацию

[@user-xy6uf4bk7k]

Музыка в начале похожа на Burak - Thursday

[@gagikpog]

гений

[@mrcaryy]

извините за вопрос) а кем вы являетесь? может математиком или программистом?

[@Disgardema]

8:36

[@retrometanol2510]

@@Disgardema "да,я рыб"?

[@FireAnton]

Посоветуйте с чего начать изучать нейросеть. Я уже 15 лет программирую. Иресть с программированием проблем нет

[@fedorlaputin9119]

А что находится в папке w-150?

[@TheMrKMen]

Мне кажется любопытного эффекта можно было бы добиться, если изображения обрабатывались бы не в RGB, а из так же 3х каналов но яркости, и цветности но из 2х каналов (не цвета и насыщенности, а отношения зелёного к красному и синего к красному, таким образом, чтоб значение красного получалось, если от некого числа отнять сумму GB)

[@TheMrKMen]

Я кстати такую цветовую модель даже нагуглить не могу. Value Green Blue получается. Для нейронки должно использоваться удобнее ,чем HSV, где значение Hue на 0 и на 1 будет идентичным (зацикленно ведь)

[@FPV_Thrills]

10:30 музыка твоя ? или есть полный трек ?

[@Draste-ya-nastya]

Жаль, что так мало(

[@Uchuunokanata]

Здравствуйте! Как у Вас дела? Давненько ничего не было.