Создаём мозг для "змейки". Часть1.

Создание простейшего мозга для змейки из классической игры.
Обучение змеек и проведение чемпионата между ними.
Моя группа ВКонтакте electronics_nn
Выражаю благодарность тем, кто поддерживает меня финансами.
Реквизиты для финансовой поддержки можно найти в
/ foo52ru

[@user-nn4bf7rq2u]

10:17 "это на аппаратном уровне уберет возможность самоубийства способом 'сходить под себя'" - ржунимагу)

[@user-mf6br5iu4l]

Ну ты просто представь, как змейка попытается сходить под себя. Да это просто выжгет глаза всем, и сломает логику этого мира.

[@user-ou8bf3rm3o]

Но змейка всё ещё сможет съесть себя, хотя для этого ей нужно будет стать длиннее.

[@user-eg5zr6fh3k]

@@user-mf6br5iu4l ВыЖЖет, а не выЖГет!

[@sannaz3344]

А вы как это скажите, умники блин, чебурек?

[@user-ou8bf3rm3o]

@@sannaz3344, это на аппаратном уровне не позволит змейке съесть себя.

[@perezvoni]

Увлекательней чем футбол!

[@user-qm4nc2uz5k]

PERESMOTRI 😂

[@levikk6107]

😂👍

[@DikiUbludok228]

Что угодно увлекательнее чем футбол

[@user-eo4qh4ou8x]

Я пришел от overbafera 2019, не оставляй проекты!

[@andreweho2987]

Возможно человек не забрасывал канал... Возможно это нейросеть обучалась)

[@h0m3us3r7]

+

[@kagayakashinaruto6221]

+++++

[@ma.ka.5081]

Иван Иванов я тож от овера давайте лайканем видосики

[@oatwizard]

+

[@porhy4822]

волновался за синих больше чем за свои отношения

[@user-jm1ts5zq6q]

А что за игра ?

[@rad3]

А я за зеленых)

[@huge_aubergine]

Сделай змейку с глубокой НС, которая видит всё поле и планирует маршрут. Пусть генетический алгоритм подбирает не только веса, но и структуру нейросети (кол-во слоёв и кол-во нейронов). For Science!

[@DimaTiunov]

Итогом прога сожрёт все ресурсы

[@cosmic4716]

@@DimaTiunov да нет, изменение структуры нейросети может быть реализовано с помощью NEAT алгоритма

[@politenessclub9228]

Сделанно действительно интерессно. Кажется меня никогда не перестанут удивлять похожие вещи в программировании. Жду каждое видео с упоением. У тебя очень интересные эксперименты и идеи.

[@spayykknight5085]

И я пришел от overbafera 2019, не оставляй проекты пжл

[@mr.sentryanddispenser]

Очень интересно рассказано,а ещё класно то что в ролике не только теория как создать змейку,но и практика,чемпионат змеек

[@MihailOnuchin]

Это лучшее, что я видел за этот год)))

[@user-pj4tp8co4q]

С нетерпением жду вторую часть видео. Автору поклон и уважение

[@user-ms2hu5kk5z]

Уникальный годный контент. Спасибо, было очень интересно!

[@user-fd9kl9bk4k]

Великолепно, не видел таких подробно объясняющих видео с примером. Очень жду следующие видео. Не мог бы ты выкладывать код, тоже охота по экспериментировать

[@sadlywolf6205]

Очень интересно, ждём вторую часть.

[@noitaukkokronk]

Спасибо! С нетерпением ждал ваших новых экспериментов!

[@user-uy8yt7ku4w]

Найс! Очень интересное видео. Да, это можно назвать нейронкой, хотя там обычно используются float, но здесь они не особо-то и нужны. Backpropagation и эволюция это все-таки разные вещи, хотя когда ты сам говорил змейке куда идти, это немного напоминало обычный метод обучения нейронок, только обучающие данные не были заранее заготовлены, а создавались в процессе обучения.

[@cumar8585]

Хорошо, посмотрел удовольствие получил, лайк поставил.

[@Rorian]

Отличный видео-ролик, наглядно показывающий процесс разработки и обучения нейронных сетей. Огромное спасибо автору за эту непростую работу в создании данного познавательного материала

[@eduardchurikov4419]

Я просто кайфую с твоих видосов, пускай и не все понимаю, но ты делаешь все круто!

[@Zeksait]

Спасибо что показываете все визуально. Так приходит понимание, что такое веса и как они работают. Ниде больше так не увидишь

[@user-ln5uj7wy1u]

Спасибо за видео! Жду следующие!

[@user-fg2ug7gy2w]

самый лучший канал по нейростям! СПАСИБО

[@leonardodavinci7932]

3 часа ночи, что я блять делаю?

[@gimeron-db]

То же, что и я)) Генетика, нейронные сети и крутой скринсейвер бонусом)

[@pav28amur]

4 часа о_О

[@user-qm4nc2uz5k]

Успокаивает мозг перед сном наверное умным людям или отвлекает нервы или изза любопытности))

[@aaaa00aa]

развиваешься

[@fedorlaputin9119]

нахрен аватарку скоммуниздил?

[@user-hi1pd1xr7g]

Как всегда годный контент! Жду новых змеек и искусственную жизнь!

[@illiakozachok9487]

Спасибо!

[@BearcatsYT]

Вводи дополнительные веса для движущихся змеек. Это позволит научить змейку обходить не только неподвижные объекты, но и преследовать и подрезать врагов, а также зацикливаться в себя )) и обучать лучше через эволюционный алгоритм

[@Noy4i]

А че делать с альтруизмом ? Он выжил тоже а эволюции , а для чего ?

[@user-yr6be8nr4h]

Очень интересно смотреть, все больше затягивает эта тема :)

[@user-ln2uq2qq8b]

Оооооочень крутая подача!!!! Ниразу не было скучно за время просмотра!!!! Желаю тебе удачи!

[@NecroOver]

Спасибо. Мотивирует и заинтересовывает

[@hishykot]

Очень интересно! Анимация выглядит очень наглядно! Спасибо за интересный контент

[@angryball]

Это лучшее, что я когда либо видел. Чемпионат змеек, чья нейросеть лучше! Бро, продолжай дальше, не забрасывай, за этим стоит будущее)

[@user-if5cw5mo9x]

Самоубийство методом "сходить под себя". Никогда о таком не слышал, но очень интригующе.

[@rasta6959]

А если серьёзно - ты красавчик, очень интересное видео. На ютубе мало таких. Держись на нем!

[@boriskuznetsov864]

Супер! Продолжай проекты

[@firzyargalyaviev5163]

Просто вау! Нет слов! Круто!

[@stepansidorov8734]

Класс, однозначно поствлю лайк. Особенно за коментарит на чемпионате!!!

[@user-ep5oc5wt3v]

Уж не допинг ли тут замешан? :DDDD

[@user-tx8om1kg1q]

Не знаю кому как, но мне от каждого видео сносит голову. Дико интересно. Считай, игра в бога. Автору бесконечное спасибо! (Блин спать уже хотел, а тут...)

[@keokee_]

10:21 сходить под себя :D Я со смеху чуть не сходил под себя :)))

[@chinganghuk]

Смешно

[@sencis9367]

Годно, интересно возможно обучить змейку предсказывать ситуацию что-бы не давать возможности "самозамкнутся" т.е. делает последовательность после которой она сталкивается сама с собой или препятствием.

[@user-lv8et4lx5k]

КРУТО! Слушайте я так думаю что вы будете первым кто создаст симуляцию мира. Сначала генетические алгоритмы, потом мозг для змейки, что будет дальше? Жду не дождусь нового виде о искусственной жизни (эволюции).

[@user-nn4bf7rq2u]

>что будет дальше? Мир дикого запада

[@user-pz8bo6dc1x]

Богдан сооветую уже привыкать быть домашним животным. Потому что скоро foo52ru Создаст искусственный интеллект и человечество будет домашними животными для этого интеллекта. Советую прикидываться котиком или собакой, может в будущем ты станешь звездой Ютьюба искусственного интеллекта.

[@101picofarad]

таким задачкам уже более 20 лет... Змеемозг - традиционный челендж для студентов. Ток они не яблоки на время грызут, а головы в прыжке )

[@serhii.akhmetshyn]

Красава, очень интересно!

[@user-nn4bf7rq2u]

10:48 Это не ИНС, а *линейный классификатор*, т.к. нет функции нелинейности (функции активации). И это не back propogation. Для BP нужна функция ошибки, чтобы было чего минимизировать, расчет градиентов и т.д.

[@nRADRUS]

ступенька чем не функция активации ? и чем не обратная-propagation если приближённая функция потерь показывалась при обучении ?

[@user-nn4bf7rq2u]

пруфлинк на функцию "ступенька", плиз =) И вопрос: "ступенька" дифференцируема? А не BP, потому что для BP особая математика нужна, а тут никакой математики, всё на пальцах... Просто чел сделал линейный классификатор и изобрёл для него некий велосипед в качестве адгоритма обучения. И ещё не понятно, во всех ли случаях этот алгоритм имеет сходимость...

[@nRADRUS]

пруф (первый в поисковике) - ppt-online.org/278109 , да и в книгах было. сходимость в большом очевидно есть, а в малом - это не обязательно, да и у людей бывают сбои , но это не значит , что их мозг не нейросеть )) да и не линейный классификатор это, ибо функция мозга змейки не является линейным оператором.

[@user-nn4bf7rq2u]

Обычно такую функцию называют пороговой. Ок, где у него там ступенька/пороговая функция? Он просто помножает входы на веса и суммирует: 1:40 Никаких функций от результата суммирования не считает. Просто смотрит, где максимум - туда и ходит. С человеческим мозгом такие примитивы вообще сравнивать некорректно. Даже если бы это была ИНС, сделанная по всем правилам. Это линейный классификатор, причём "простой и непорочный" :) ru.wikipedia.org/wiki/%D0%9B%D0%B8%D0%BD%D0%B5%D0%B9%D0%BD%D1%8B%D0%B9_%D0%BA%D0%BB%D0%B0%D1%81%D1%81%D0%B8%D1%84%D0%B8%D0%BA%D0%B0%D1%82%D0%BE%D1%80 И, кстати, во всех Х функции вида "ступенька" градиент dY/dX равен 0, следовательно, BP работать не будет.

[@nRADRUS]

"Просто смотрит, где максимум - туда и ходит. " это и есть порог, причём порог адаптивный. Ладно,пускай, но однослойный перцептрон так же может быть линейным классификатором - ru.wikipedia.org/wiki/%D0%9F%D0%B5%D1%80%D1%86%D0%B5%D0%BF%D1%82%D1%80%D0%BE%D0%BD#%D0%98%D1%81%D1%82%D0%BE%D1%80%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B0%D1%8F_%D0%BA%D0%BB%D0%B0%D1%81%D1%81%D0%B8%D1%84%D0%B8%D0%BA%D0%B0%D1%86%D0%B8%D1%8F

[@sanchopansa8956]

очень интересно! По началу не понял, как работает мозг змейки, но сейчас понял. Азарт возрастает! кто же победит?..

[@depishdev6942]

"Это на аппаратном уровне уберет способность самоубийства способом сходить под себя" xD

[@ostrov11]

Круто, спасибо ))

[@MelvinStudios]

круто! урок простенький и залипательный, но чувствуется, что серьёзно заморочился, чтобы его записать

[@user-qm4nc2uz5k]

Смотрю на соревнование змеек и меня это умиляет!!! Примите мои аплодисменты 👏👏👏

[@nb-cy6cw]

Это очень интересно, искал подобные каналы - все в пустую, нашёл ваш, нашёл надежду, не бросайте проект, и на каком языке вы пишите нейронки?

[@demon3x668]

Интересно смотреть. Хорошо снимаете

[@user-nick782]

Я вообще случайно набрел на канал. Очень познавательно! пересматриваю видосы.

[@user-xb3xl1ml7u]

это просто шикарная теория! на пальцах разжевано, на примерах показано

[@Profil2579]

Хотелось бы услышать про алгоритм отбора самообучаемых змеек =) Однозначно лайк за труд!

[@black-to-whitegradient5400]

В группе вк есть. vk.com/cyberbiology

[@eessdvfffecddfdd1721]

Генетический алгоритм, там видео старое найдите, такой же принцип

[@Ash-bl2mo]

Чертовски интересно!

[@trueman9363]

Интереснейшие видосы!!!

[@ivankuznetsov5618]

Зрелищно!

[@maxim1181]

Дружище,ты не гений случайно ? Потому как я думаю,именно гений !

[@doctorguide5964]

Интересно посмотреть как ты будешь учить змеек загонять соперников в ловушку ;)

[@anon3696]

Захватывающие ))

[@RusArtSnipe]

Скорей бы с работы вернуться. Чет ии создать захотелось.

[@milovidov42]

Круто!!!!))

[@sadrussiansocialrolix]

спасибо я поумнела)

[@Rayvenor]

Вполне НС. Ты даже указал до оптимизации 240 входных нейронов, 4 выходных и 960 связей. Скрытого слоя нет. С методом обучения я так не уверен. Обратное распространение по сути реализовано, но без матана. Правда, что зеленые змейки могли суицидить не только запутавшись в себе, но и методом "сходить под себя"? В одном моменте показалось, что именно это произошло, было обидно. Не ожидал, что начнёшь заниматься НС. Был уверен с первых секунд, что будет привычный генетический алгоритм.

[@foo52ru]

ГА будет во второй части

[@gimeron-db]

Обучение с учителем. На входе сигналы 0 или 1. Функция активации - нечто вроде софтмакс (выбирается то направление, значение на котором больше). Функция ошибки считается от разности между правильным направлением и неверно выбранным змейкой. Матрица коррекции весов равна произведению вектор-столбца сигналов со входа на вектор-строку сигналов ошибки. Несмотря на такую простоту, поведение змеек выглядит сложным.)

[@user-yp9gf6ib7s]

Самый лучший

[@entercherpfhalckhontralyty3542]

По-моему улучшения будут только полезны для проекта. Замечательная задумка, кстати!

[@dmitrysmirnov6095]

С интересом наблюдаю, как самообучается ваша головная нейросеть )

[@user-if5cw5mo9x]

Пришел сюда, чтобы не деградировать в трендах.

[@swoyzealander3004]

Я вообще бойкотирую трендовый раздел

[@sancho2238]

Круто

[@to4nonehikka523]

лучший!

[@user-lz5jb5kw5o]

*лайк от овера*

[@brianshoubert7803]

Клёво

[@dmitrec999]

круто!

[@chaosundivided616]

Блин, Я за зеленых болел((( Автор, Ты - великолепен! =)

[@bujamad5359]

Заряд мотивации

[@user-jr6ue7rk9p]

Заметил, что выживаемость змейки зависит от дальновидности. Яркий пример, когда змейка запутывается в собственном хвосте.

[@user-yp5rs8hz8i]

прикольно мне видео понравилось

[@Ololoshize]

Прикольно!

[@Regin-cb4qd]

так наверное можно симулировать поведение игрока то есть если нейронка будет следить за всеми действиями игрока и корректировать под них весы то она будет двигаться примерно также как и игрок скорее всего но я попробую запустить симуляцию и проверю это

[@user-yj4bi1ti2l]

Как прога называется? Спс автору за видео

[@wingdings1476]

Ты создал точную копию моего мозга

[@xakkep9000]

круто)

[@mathfun1296]

Надо добавить еще несколько входных параметров, собственная длина и история собственных движений. И больше обучать при длинном червяке, это должно уменьшить количество самоедства. Пошаманить со скрытыми слоями, может удастся научить распознавать опасные рисунки и избегать их.

[@foo52ru]

У меня был параметр "история собственных движений" У одной змейки из команды вычиталось несколько очков в том же направлении, куда был сделан прошлый шаг. Змейка становилась более вертлявой. У второй змейки прибавлялось несколько очков в прошлом направлении, змейка становилась более прямолинейной. Третья змейка оставалась без изменений. Потом убрал это, что бы сохранить простоту. Собирал статистику, змейки, где происходило прибавление/убавление очков по старому направлению, были чуть результативней на несколько процентов.

[@user-rr1oj8zz2g]

Хуа контент, братишка! Ты очень хорош!)

[@narim8224]

Продолжай

[@user-fi3zc5ub7k]

я придумал оптимизацию: змейке можно подавать три расстояние до еды: по направлению движение, слева направления и справа. точно также и с преградами, и еще лучше добавить нейрон смещение, также добавить один или несколько скрытых слоев.

[@gagogoga794]

✊🏻💪🏻

[@aemarkov]

Как уже заметили, это не является нейронной сетью и методом распространения ошибки. Чтобы это стало нейронной сетью, нужно добавить нелинейность к сумме. Также у вас здесь фактически задача классификации, на выход стоит еще добавить softmax. Чтобы обучить методом обратного распространения ошибки, можно поступить следующим образом. Играйте змейкой сами, как обычно, не по шагам, но на каждом шаге сохраняйте показания сенсоров и ваш выбор. Получите датасет. Можно будет его разделить на обучающую и тестовую выборку (ну а можно и не делать тестовую, просто запускать и оценивать "на глазок"). Затем уже на этом датасете обучите с использованием всего того матана метода обратного распространения ошибки. Можно реализовать самостоятельно, можно воспользоваться готовыми. Хорошая книга: yadi.sk/i/AuHUvb-71GFC1Q

[@foo52ru]

Спасибо за книгу. Посмотрел по диагонали, выглядит сложновато, хотя возможно объяснения будут доступные. Сейчас я читаю "Создаём нейронную сеть" Тарик Рашид.

[@aemarkov]

В свою очередь, Вам тоже спасибо за эту книгу.

[@filippmorris8348]

Класс, лучше чем наш футбол..

[@MaximSolodkii]

скорее бы уже змейки захватили мир! лайк, если тоже ждёшь этого

[@N05off]

Скайнет. Начало.

[@sanchopansa8956]

Серёга Носов, собственно, этот человек уже очень близко к этому, ничего нового)

[@CapitanSuk]

"...Этот человек уже очень близко к этому..."- очень громкое и безосновательное заявление.

[@sanchopansa8956]

Капитан Сук, ты шутки не понял.? Я ж не в серьёз.

[@The_Mavrik]

Как написать такую ж программу на C#? имеется ввиду клетки и движения и срабатывания на препятствия или еду

[@user-ij6fc4fp9t]

С чего начать чтобы самому сделать такую же? Я не программист.

[@agail2203]

Ни...я не понял, но очень интересно. (Лайк поставил)

[@darkfrei2]

А можно ли сделать нейросеть, которая может выдавать 1 или 0 в последовательности числа Пи в двоичной системе счисления? На входе лишь число как позиция после запятой, на выходе 0 или 1, в зависимости от результата.

[@foo52ru]

нет

[@darkfrei2]

@@foo52ru Слишком рандомно будет предсказывание или из-за "переобучения"?

[@mihaild1script333]

вот очень обидно когда у таких людей подписоты нет(

[@Alloniya]

Самый жоский матч в моей жизни

[@user-fm1ee7su3v]

"Сходить под себя!" - способ самоубийства, хахахааа

[@volv1698]

Как называется самоубийство в тюрьме? Сходить под себя

[@user-rw7uh2vo9z]

Нужно еще ввести термин шаговой доступности или скорректировать термин поля видимости : так как 5 клеток на 5 клеток --- это квадрат , а видимость предпологает радиус равный . ТОгда то и можно ввести термин шаговой доступности . Тоесть 5 шагов . Шаг вверх + 4 шага влево или 3 шага вверх + 2 шага вправо .....и так далее (шаговая доступность :) Что в свою очередь даст параметр - количество шагов до еды . И выбор наименьших затрат (шагов до еды), тоесть выбор еды , но не пути до еды.

[@mathprocessing]

Стало интересно почему именно 8? Оказывается можно и 12 если квадраты заменить на шестиугольники. Дело в том, что теория групп даёт исчерпывающий ответ, на подобные вопросы, давайте спросим у неё. Нам понадобится понятие порядка группы, порядок группы это просто напросто количество элементов в этой самой группе. Так вот порядок группы самосовмещений квадрата равен 8, откуда следует что порядок группы самосовмещений квадратной сетки равен 8, и уже отсюда следует что можно оптимизировать обучение именно в 8 раз. Если рассмотреть сетку из правильных шестиугольников, то рассуждая подобным образом придём к числу 12. Есть общая формула для порядка группы самосовмещений правильного n-угольника, |G| = 2n.

[@KogothLetsPlays]

надо бы еще ввести возможность видеть голову противника