Нейронная сеть. Часть 2. Рисунок из фотографии.

Ролик о преобразовании фотографии в рисунок с помощью нейронной сети.
Использую интерпретатор Pixilang без использования сторонних библиотек.
Целью экспериментов является - понимание работы нейронных сетей на низком уровне.
Так как не являюсь специалистом по нейронным сетям, могу совершать ошибки, это просто дневник изучения темы.
Выражаю благодарность тем, кто поддерживает меня финансами.
Реквизиты для финансовой поддержки можно найти в
/ foo52ru

[@fadorin4779]

Твои дневниковые ролики лучше многих обучающих

[@obojdi]

Супер! про Меркель вообще огонь. Вот он - настоящий русский исследователь, вот кого надо поддерживать государству и приводить в пример молодому поколению, а не танцоров в костюмах роботов.

[@MaximSolodkii]

Идею с человеком внутри костюма робота явно придумал сверхразум.

[@MaratLazarev]

@@MaximSolodkii Идею с человеком внутри робота, спиздили из старых фильмов. Хотя не, был же ещё шахматный автомат Кемпелена... В общем всё придумано до нас!!

[@neocortexlab]

@@MaratLazarev идее с человеком внутри робота сотни и сотни и даже тысячи лет...

[@johnrom8787]

Согласен. Сам исследователь, а деньги уходят на парады, игры, 'выборы' дворцы и другую херню

[@MrFEARFLASH]

Человек так хорошо ориентирующийся в теме нейронных сетей, но говорящий что он не специалист в этой теме, самый лучший учитель. Так как было сказано давно, глупец думает что всё знает, а умный постигает! :))

[@MagicMightNew]

Удивительно. С такой частотой выпуска видео попасть на его публикацию через 3 минуты - истинная удача!

[@mysuperpupernick]

нейросеть обучилась выкладывать видео за три минуты до вашего прихода

[@gilman2056]

Достяжение прям

[@malejeeck]

Но удивительно только для вас. В общем, для ситуации вы - рандомный человек и, статистически, должно быть немало людей, увидевших видео через 3 минуты. И каждый из них имеет право написать ваш комент. Другими словами, вы говорите - почему именно я??? А мы говорим - этот человек не особенный для нас, это просто кто то. А кто то должен был увидеть это видео через 3 минуты. Так что, не переоценивайте. Не произошло абсолютно ничего необычного, все как раз слишком обычно.

[@fdfqwfqwed897]

@@malejeeck Ох...наконец-то увидел *умное*, сокрушительное опровержение уникальности данного типа людей и доказательство абсолютной ненужности этих комментариев (сказано с иронией). Такие люди как вы, которые пытаются казаться умнее чем люди которые якобы *штампуют* одне и те же комментарии, довольно часто наступаете на одни и теже грабли которые не можете даже увидеть, а именно субьективно-негативная трактовка сообщения невинного человека. *Иными словами* вы сделали конвертацию фразы -как же вы достали- в умный формат, при этом став точно таким же стандартным и необычным псевдоумником. Мне искренне интересно как вы меня сейчас восприняли) И мне очень интересно почему точно такие же люди как вы смотрят тоже что и я, но при этом.. лол, дежавю в момент написания коммента

[@fdfqwfqwed897]

@@malejeeck Не обращайте внимания, удачи и процветания в личной жизни!

[@user-dg6et8jp6p]

Автору большое спасибо за видеоролик. Его работа меня вдохновила на собственные эксперименты. В первую очередь я воспроизвёл сеть из видео, которая распознает границы, и с помощью которой рисуются контуры изображения. Затем я создал вторую сеть, которая распознает цвета. Т.е. изначально подобрал палитру из 10 цветов, а потом обучал сеть ассоциировать цвета изображений с одним из цветов в палитре. Т.о. выходное изображение формировалось обоими сетями, первая наносила цвета, вторая контуры. Результаты первых экспериментов получились удовлетворительны, но сейчас при увеличении образцов для обучения увеличилась вероятность попадания в локальные минимумы с неприемлемыми значениями ошибки. При этом часто бывало так что суммарная квадратичная ошибка уменьшается, а вот частная (по некоторому образцу) она возрастала. (я использую пакетный метод обратного распространения ошибки ). Вопрос к автору: как часто у него возникают проблемы с неприемлемыми локальными минимумами (если возникают) и как он с ними борется?

[@foo52ru]

Возможно были, просто я не замечал. Для борьбы с локальными минимумами можно использовать "момент". Вот в этой статье есть небольшое описание habr.com/ru/post/313216/

[@user-dg6et8jp6p]

@@foo52ru , спасибо за статью. попробую использовать

[@user-of7ie6lu9n]

какой ты молодец! умник!

[@a.khakimov]

Однозначно плюс. Экспериментируйте дальше. Очень интересно!

[@EASYLIKE]

)))) Да ты не только нейро-программист ты еще и хороший политик)))))

[@user-nf7uq9bi2w]

В руках гения творятся чудеса!

[@DmitryMikutsky]

Спасибо! Очень помогает Ваш канал разобраться. Очень нравится эта тема и генетические алгоритмы зашли тоже. Программирование - люблю его, как некоторые кроссворды любят)))

[@Butcer]

Очень интересный блог! Мне нравится! Черпаю идеи и вдохновение!

[@nikolaycherepanov8928]

Ты - лучший, побольше видео, почаще. Посмотрел сейчас это перед сном и как-то тепло на душе стало.

[@zzzXopHeTzzz]

Отличное видео. Смотрю каждый раз с удовольствием!

[@user-lu8ee8xg1l]

Хочу выразить искреннюю благодарность автору канала за хороший контент. С большим уважением отношусь. Искренне желаю творческих успехов и всех благ.

[@DenVeR-PRO]

Очень круто! Спасибо! У меня наконец появилось понимание того как сделать классификацию с помощью НС. Еще очень понравился трюк с раздуванием базы для обучения!

[@keyzog]

Очень хотелось бы видеть развитие данной темы, возможно стилизация изображений или чтото вроде этого. Спасибо за ролик!

[@celed4228]

Ты лучший! Делай видео дальше, у тебя очень круто получается!

[@anon3696]

Я обучаю свою нейросеть с помощью генетического алгоритма, что бы не было таких проблем, как у вас в начале обучения.

[@Molb0rg]

хороший у тебя скил представлять материал и экспериментаторский задор )) шлифани другой сеткой которая по рисунку работает и выбивает совсем короткие черточки, как бы аля фильт гравюрный человек разумный - так как он не может физически нафигачить ну совсем корткие черточки(как бы в духе этого)

[@vyacheslavmikhailov7974]

Спасибо, ты смотивировал меня придумать себе проект после месяца отсутствия желания программировать. А еще, у тебя явно есть "ютуберская" жилка: видео получаются лаконичные, и интерес к просмотру не теряется по мере просмотра видео.

[@stanislavpetrov6124]

Отличный контент, очень жду продолжения. Сам разработчик, какраз пытаюсь вникнуть в эту тему

[@gimeron-db]

Спасибо за интересные материал Не приходилось раньше встречать полносвязную сеть в качестве ядра свёртки)

[@risesduckness]

Очень вдохновляет тоже к этому прикоснуться. Давно хотел сделать нейросеть-подражатель поэтов, певцов

[@jonnyd7190]

Спасибо! Может тоже решусь попробовать свою нейронку запилить ... очень вдохновляет!

[@logand5408]

Такие каналы должны быть милионниками.

[@neposeda2896]

Творческих вам успехов! Очень круто.

[@rewaferatew5190]

Познавательно (про генетический алгоритм не забывай). Спасибо за хороший контент. Удачи

[@user-if2nh7xi7i]

Хорош! Жду третью часть.

[@kogram]

Отличное видео, спасибо за опыт, пока времени мало, но тоже скоро подключусь, тема очень интересная!

[@user-nc6fp2oq8z]

Лучший, мое почтение вашему делу

[@staf5496]

Офигенный шаг на 4:56 👍 сразу видно недюжинный интеллект

[@alexorlovecky6662]

Хочу предложить использовать разные веса яркости к красному, зелёному и синему. Не помню точно, но они даже стандартизированны. Так к примеру 255 зелёный, выглядит ярче, чем 255 красный. Самый тёмный - синий. Можно воспользоваться каким либо продвинутым фоторедактором и взять пробу в люменах, трёх цветов. Мне кажется это сильно поднимет точность.

[@foo52ru]

Я это проверил в фотошопе. Когда картинку, где половина красная (255,0,0), а половина синяя (0,0,255), перевести в черно-белое, то они отображаются разными градациями серого. Здесь это не поможет, так км можно подобрать такие значения яркости красного и синего, что при переводе в черно-белое они будут выглядеть одинаково.

[@portal2x2]

Мб альфаканалы?

[@Andreykin_Plushkin]

Как всегда отличные видео!)

[@Easytradingpw]

мощно!

[@user-jz8vm5rd9s]

Это Гений, господа!!!!

[@sergeyznatnov3202]

Спасибо.

[@artemsaveliev4455]

очень круто и наглядно!

[@SlavicTechnologies]

Прикольно

[@Ololoshize]

Вас очень интересно слушать.

[@xakkep9000]

За шутку про блокчейн однозначно +

[@MrDazhuk]

Сильно!!! Респект автору!

[@soofix1559]

Очень интересно, спасибо

[@gerald7226]

На основе вашего кода я написал свою библиотеку для создания нейросетей, однако в ряде задач сигмоида показала себя не лучшим образом поэтому начал использовать ReLu ( (|X| + X)/2), точность предсказания выросла с 70-75% до 90-95%.

[@user-ou8bf3rm3o]

В глубоких сетях лучше не использовать Sigmoid(x) или Tanh(x) после каждого слоя. Градиенты вычисляются дольше, возможно насыщение и остановка обучения. Применяйте ReLU, LeakyReLU, например. ReLU(x) = Max(0, x) LeakyReLU(x) = {a*x, если x

[@zombie_v]

@@user-ou8bf3rm3o и соглашусь и нет, в глубоких между слоями лучше линейную функцию использовать, а если ответ нужен да нет(между слоёв, но это уже капсуль нет), то лучше ReLU или даже HardSigmoid(как в LSTM на гейте забвения(забывания)), а на данной модели межу перцептронами лучше наверно ReLU

[@user-ou8bf3rm3o]

@@zombie_v Между слоями функции активации должны быть нелинейными, но допускаю исключения. Если в нейронной сети из трёх полносвязных слоёв везде использовать линейную функцию активации, три слоя можно упростить до одного, потеряется способность нейросети разделять пространство для решения задачи. И становится бессмысленно делать сети глубокими.

[@zombie_v]

@@user-ou8bf3rm3o я с вами полностью согласен, что больше одного слоя нельзя оставлять без активации, но линейная функция и занимается линейными(аффинными) преобразованиями и например в задачах регрессии её намерено оставляют на последнем слое для неискажённого(не сжатого) ответа (скалярная регрессия), а в дальнейшем этот ответ может быть как-то обработан и подан на следующую сеть(capsul net)

[@user-ou8bf3rm3o]

@@zombie_v, главное не переусердствовать! :-)

[@agalakdak1788]

очень крутой материал!

[@yuresdify]

Наконец дождался видео номер 2)

[@McIntoch666]

Интересный контент

[@aemarkov]

Результат напоминает применение оператора Собеля к изображению.

[@romankryvolapov7961]

Можно использовать только серый цвет, но преобразовывать каналы в разных пропорциях, или даже делать не rgb-ч/б преобразование, а преобразовывать отдельные цвета, так можно получить интересные эффекты. Делал прогу, которая рисовала символами- этакий ascii art с камеры телефона, и многое зависело от преобразования в ч/б

[@AntonSergunin]

Достойно

[@No9GOLEM]

Сложно, но полезно. Спасибо! Меркель=Джокер))

[@jefffstone]

Наткнулся в рекомендациях и, сука, залип, посмотрел целиком. Меркель капец криповая вышла!... И это натолкнуло меня на идею. Возможно это уже слишком, но может можно таким образом дать установку нейросети покадрово отрисовать целый видеофрагмент? Конечно, если поклеточное сканирование и дальнейшая отрисовка занимает много времени, то сколько тогда займёт "рендер", например, минутного видео в 60 к/с ужас!... Но, посмотрев на Меркель, я уже представил, как крипово она выглядела бы в движении

[@celed4228]

Кстати, можешь попробовать сделать нейросеть, которая делает из размытого изображения более чёткое. Собрать базу вроде несложно, так как можно просто много изображений по всякому размыть. Очень крутая и практичная нейросеть получается.

[@nikitaisikov870]

увеличить четкость можно и без нейронной сети, при помощи ядер для обработки изображений

[@foo52ru]

Сейчас Яндекс преобразует старые черно-белые фильмы, повышает их разрешение с помощью нейросети. Я смотрел исходные и конечные скриншоты, качество получается повыше, чем после стандартного фильтра. Но думаю, там сеть достаточно сложна.

[@nikitaisikov870]

@@foo52ru безусловно, нейронные сети могут преобразовывать получше фильтров, но начальные знания по обработке изображений необходимо иметь, перед тем как приступать к нейронным сетям для этих целей.

[@NyadesCh]

для исправления ситуации с Трампом можно попробовать до обучить сеть на примерах с его фото, где кожа будет пустым квадратом

[@user-pl7oi1ub8v]

ты крут! так держать!

[@ostrov11]

Спс )

[@firzyargalyaviev5163]

Почему это видео до сих пор не в трендах?

[@user-ch76tcye4vvuu8]

Качество материала мягко говоря не очень. От кода на 20 секунде видео мне стало плохо. forWard/backWard как имена методов ужас. Слова forward и backward не состоят из двух слов. Логичнее использовать forwardPropagation и backwardPropagation, что переводится как распространение сигнала вперед и назад. Имена переменных одной-двумя буквами - из худших практик программирования.

[@foo52ru]

а ещё я goto широко использую :)

[@user-rq3wn3ys9n]

В россии такие видео никогда даже близко не подойдут к трендам. В россии народ в основной своей массе деградирует и еле выживает.

[@ADV_UA]

Супер!

[@matveiq]

Канал супер

[@asdffewfew]

чувак,ты крут!подписка)

[@bekzhan356]

Belissimo!

[@andycuter]

класс.

[@avismax]

красавчик так-то...

[@MagicMightNew]

Можете, пожалуйста, приводить фактическое время обучения нейросетей в Ваших примерах и указывать параметры железа, объем выделенной памяти, потребление ресурсов процессора (либо на ядрах графического ядра). Заранее спасибо!

[@aemarkov]

Автор пишет сети с нуля на Pixilang. Это интерпретируемый язык. И в один поток на ЦП. Поэтому сравнение с какими-то крупными библиотеками, которые оптимизированы, написаны на С/C++ и уж тем более под GPU в плане производительности довольно бессмысленное.

[@MagicMightNew]

@@aemarkov спасибо. Я помню, он в старых видео что-то про Pixilang рассказывал. Но я не знакомился с языком, потому упустил момент, что там нельзя параллелить

[@nikitapetrenko6757]

Нейросеть очень маленькая по нынешним меркам, так что учиться она будет быстро.

[@foo52ru]

У меня старый ноутбук с 2 гигами оперативки. На последнем варианте сети (16х16х5), одна эпоха (прогон 20000 примеров) занимает около минуты. Изображения Обамы с разным процентом ошибок - обучение длилось 1 час и я в течении часа несколько раз сохранял веса. В прошлом видео есть фрагмент, где надо было восстановить изображение по кромке - обучение длилось пару вечеров-ночей. Но я в это время использовал параллельно ноутбук для других задач.

[@MagicMightNew]

@@foo52ru спасибо большое!

[@user-ih6bf9xi2k]

автор молодец)

[@secretactor3855]

Прошу поделиться опытом ,а именно : каким образом декодируете картинки для последующей передачи на вход нейросети ?

[@dmitrypoznyakov3387]

УРА!

[@AndrewOBannon]

эта пять однозначно)

[@portal2x2]

Братан продолжай это круто, в конце поржал с шахтера и зомби)

[@kogorek1]

Чем то напоминает матричную обработку фотографий. Там тоже есть фильтры, которые превращают картинки в будто бы нарисованные.

[@trueman9363]

Очень интересно! Орнул, когда автор после длительного объяснения сказал: "Фу!" - отсылка к названию канала "foo52ru"! ;)))

[@BudetLu]

Технамаги вы!)

[@0ReH34]

Я из будущего. чувак, остановись! Через пару выпусков ты выпустишь обученную нейросеть в инет и нам всем хана, скайнет, терминаторы, судный день.

[@mathprocessing]

Я из более далёкого будущего, его нейросеть перейдет на сторону сопротивления.

[@user-kq4pw1ub9p]

сколько стоит нефть в России

[@user-kq4pw1ub9p]

?

[@MagicMightNew]

@@user-kq4pw1ub9p нефть в России кончилась, я из февраля 2019

[@rent665]

@@mathprocessing я из более-более далекого будущего. Сопротивление создало скайнет и отправили в прошлое ,чтобы появилось сопротивление !!!

[@abcolut]

Большое человеческое спасибо за описание опыта. А, может быть есть исходники или ссылки на исходники, чтобы попробовать повторить это чудо!?

[@le1t824]

Наконец-то не надо будет мучится по изо))

[@nRADRUS]

интересно. но можно было бы и более крупным квадратом пройтись , ибо многие вещи имеют масштаб больше чем несколько пикселей )

[@user-oi2nj1tz1c]

Привет можно снова видео про змеек? очень интересно смотреть на эту "симуляцию жизни" хотелось бы добавить в мир со змейками больше условностей и препятствий различных.

[@firerun8599]

Сделай видео по тому, как научить сеть что то генерировать, например кормишь ее фотографиями разных цветов, а потом она сама генерирует какое-то свое изображение с цветком не похожее на другие фотографии

[@user-is6jm3no8q]

вот ты и открыл истинный облик меркель: )

[@kotanhp3115]

Ничего не понял, но было очень интересно! (И смешно))

[@theammir]

Здравствуйте, какой шрифт используется во время слежки за обучением нейросети?

[@user-zz7kl7gr3u]

📷

[@TEENASPECT]

Но это только для правильных линий. А что если добавить изогнутые линии в данных для обучения???? И что, если сделать сеть дополняющую кадры заметенной дороги или дороги с плохой разметкой? Клоню понятно куда?)

[@vitalykolesnichenko6574]

Сети блокчейн не способны хранить оцифрованные произведения искусства (NFT), они сохраняют только ссылку где хранится объект. Можно придумать новый тип сети, но можно по другому оцифровать объекты, чтобы сети эфириум или бинанс смарт чайн , к примеру могли хранить объект непосредственно в сети.

[@Afonasiy_Karpotreskih]

годнотаЪ 8)

[@user-gy9ci9sx7y]

Как-то нужно сеть научить отделять контур от текстуры(штриховки). Тогда, наверное, будет больше похоже на рисунок, а не на наложенный фильтр.

[@TheNeoxpert]

Спасибо большое! Я тоже хочу как-то начать программировать ИИ. А то всё OpenGL да JVM...

[@bekzhan356]

А что это за технология opengl?

[@TheNeoxpert]

@@bekzhan356с помощью OpenGL можно очень быстро рисовать на экране. Это так называемая "API" с помощью которого можно коммуницировать с видеокартой. Видеокарты могут рисовать очень быстро так как у них сотни процессоров. А при рисовании каждый пиксель не зависит от других, что позволяет за один "Такт" нарисовать сотни пикселей.

[@DenisShaver]

@@TheNeoxpert Вообще-то ты через этот интерфейс общаешься с драйвером, а не видеокартой.

[@MZeroTolerance]

@@DenisShaver а еще можно сказать, что человек видит мозгом, а не глазами.

[@xezo360hye]

На джокере заорал

[@Regin-cb4qd]

2:45 наверное можно не самому это делать а сделать ещё одну нейронку которая умеет определять что показано на фрагменте так будет удобнее наверное

[@alexnopushkin]

Ни*уя не понял, но очень интересно...)))

[@CapitanSuk]

Теперь можно спокойно делать приложение для смартфона:"Чумазые президенты" )

[@Choxoew]

это бомба ааа а а а а а а

[@nefton001]

Попробуй каналы перевести в HSW - думаю будет намного веселее распознаватся

[@janyshbek73]

а можно ли как то получить коды для обучения? а то че то у меня ну никак не получается обучить. (даже относительно)

[@user-tk9qc1pr8z]

попробуй сделать гифку из серии обработанных снимков аля панорама. будет интересно посмотреть

[@tistaliv1491]

А ты используешь разные датасеты для обучения и проверки ошибки?

[@Rayvenor]

Похоже одинаковые. Для контроля переобучения нужно отделять небольшую 5-20% выборку из данных, которую использовать только для проверки, т.е. не обучать на примерах из этой выборки.

[@nRADRUS]

какой смысл проверки ошибки если эта проверка не будет применяться в обучении ?

[@Rayvenor]

@@nRADRUS ru.wikipedia.org/wiki/%D0%9F%D0%B5%D1%80%D0%B5%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5 Метод борьбы "перекрёстная проверка", хотя он там описан мутно. Если в двух словах, то проверка будет показывать когда начинается переобучение. Если оно началось, то обучение надо просто остановить. Уменьшить переобучение эта проверка не позволяет.

[@foo52ru]

Здесь я не использую проверку ошибки на другом датасете, так как задача не в точном детектировании линий, а получении красивой картинки. Я сохраняю веса во время всего обучения, а потом пробую, на каких весах картинка симпатичнее. Отдельным датасетам для обучения и проверки планирую отдельное видео. Уже нашёл задачу, где полезность этого наглядно видна.

[@nRADRUS]

@@foo52ru тогда нужен ещё датасет на красивость получившейся картины )

[@loomikey230]

Такое чувство что это художник Игорь, который белый цвет использует только от холста. Если да, то круто - вот же широта интересов и способностей.

[@nikolaydd6219]

Давно изобретаю способ выделения текста (субтитров) с картинки. Думаю ваша технология с этим бы справилась. Как бы её применить в Delphi?

[@somnium4919]

Круто! А сколько мощей то надо?

[@grem8-743]

Классно спасибо! фу))

[@MrNarutorengun]

Меркель скорее панду напоминает, хотя джокер тоже немного в тему

[@portal2x2]

Я вижу зомби. Или бухаря.