Создаём мозг для "змейки". Часть 2.

Создание простейшего мозга для змейки из классической игры.
В первой части было обучение змеек змеек вручную.
В этой части, обучение с помощью естественного отбора и выставление весов сети вручную.
Естественно с проведением чемпионатов.
Хотел бы сделать полноценную нейронную сеть для змейки, но пока не определился с оптимальной конфигурацией, так что, если есть идеи - пишите.
Исходники проекта(Pixilang)
yadi.sk/d/_fNxUIodLvT9Qw
Моя группа ВКонтакте electronics_nn
Выражаю благодарность тем, кто поддерживает меня финансами.
Реквизиты для финансовой поддержки можно найти в
/ foo52ru

[@White_Drake]

Теперь нужно научить змеек загонять врагов в ловушки :)

[@boriskopeykin3209]

а может нейронка путем эволюции научиться загонять в ловушки?

[@johndeper5295]

@ZYEV а чем меньше врагов, тем больше еды, ловушки, или зажимы, самое то

[@user-bi2ug2hw9u]

Это дельное дополнение. Но пока что в коде(геноме) нет возможности анализировать не несколько ходов вперёд.

[@user-bi2ug2hw9u]

@@boriskopeykin3209 нет Гена отвечающего за это. Змейка принимает решение в последний момент, считай. Змейка не видит всего поля.

[@shn0105]

Сами научиться через 20 миллионов естественный отбором

[@nRADRUS]

дарвин вообще говоря был оптимизирован не под чемпионат, а под жизнь с размножением и прочим )

[@foo52ru]

Всё верно. Но условия близки. Эта одна из причин, почему естественный отбор мало где можно применить на практике. Зато он завораживает. :)

[@YouROK85]

Обучать боями нужно было :)

[@AnShyv]

foo52ru, что значит мало где можно применить на практике ? по сути все нейронные сети и являются естественным отбором. только условие отбора меняется. всё остальное схоже - сформировать нейроны таким образом, чтобы было выбрано лучшее действие в меняющихся условиях не приводящее к провалу.

[@nRADRUS]

AS , вообще в видео афтор сказал, что ваш вариант - искусственный отбор, а почти свободная жизнь в клетке - естественный.

[@AnShyv]

id13, разницы не вижу. есть цель, есть входные условия и есть условия провала. мне кажется, что в любом случае будет естественный отбор. можно, конечно, "искусственно" отбирать, но опять же, это получится, что мы всего лишь меняем условия отбора. так же, как это было с человеком.

[@Oleg_Chajkin]

Смотрю я на это шедевральное видео, и с грустью понимаю что мы и есть эти "змейки"...

[@rozdmit]

А я с гордостью. Если бы система хотела бы убить тебя, она бы убила. А это всего лишь препятствие в жизни, чтоб усовершенствовался = стал быстрее/умнее/сильнее.

[@user-ln3dy5ho3p]

у меня тоже такая мысля промелькнула. И ктото параметры выставляет, чтобы сильно не размножались, но и не вымерли совсем

[@Yurek33]

С гордостью осознаю, что являюсь представителем углеводородной формы жизни на планете Земля =)

[@user-ue8yg6ky9h]

Мы можем пойти путем гуманизма, помогая друг другу, а не животной конкуренции без контроля разума.

[@artemk6096]

Плз начни эволюцию с кода адама сможет ли естественный отбор усовершенствовать адама???

[@noitaukkokronk]

И Еву ему для полового отбора

[@47syorha52]

он деградировал :(

[@user-fq3tf9uz8h]

Скажу по секрету, Бог поручил Адаму дать имена всем животным и определить их назначение. Как думаете мог Адам деградировать? Думаю вы деградируете. Библию надо читать а не слушать

[@joytonyhook9016]

@@user-fq3tf9uz8h во дурачьок

[@madness_a]

@@user-fq3tf9uz8h сам читай эту дрянь!

[@Rayvenor]

Заметил, что Адам убивался чаще, чем Дарвин. Если это за большое количество повторений не исчезает, значит выживаемость у Дарвина как-то реализована в его весах. Может он больше боится подходить к стенам, что статистически снижает запутывание? Жаль этот параметр в "небольшой статистике" не был представлен. И поддержу идею, что Дарвин был заточен под выживание и размножение, а Адам только под обжорство.

[@FoxSlyme]

"Адам" "был заточен" "под обжорство" А ведь в змейке обычно в качестве еды делают яблоки. Получается, что Адам больше заточен на поедание яблок, т.е. грешить?

[@user-gd3om6dl3w]

@FlyMaster гений конспирологии…

[@user-qi6pv9jh7o]

@@FoxSlyme но при этом Адам-змей... Змей_ка

[@user-qi6pv9jh7o]

@@FoxSlyme очень сложный культурно-мифологический концепт

[@FoxSlyme]

@@user-qi6pv9jh7o а ведь точно

[@drseedon]

Обожаю когда речь идет о каких-либо искусственных мозгах которые надо учить посредством эволюции, и не только эволюции. По-больше бы таких видео.

[@user-nn4bf7rq2u]

12:43 Ну, добавление нелинейности позволяет сделать более сложную модель (линейный классификатор с любым количеством слоёв может быть "упрощён" до однослойного, а с нелинейными функциями это невозможно).Более сложная модель - не панацея. Гарантии никто не даст, что она сможет избежать самоубийства методом "сходить под себя" ^____^ Но чем сложнее модель, тем, теоретически, более сложному поведению она может обучиться. Как-то так.Скажем, если подавать на вход достаточное количество информации об окружающей среде, нейронка сможет предсказать на несколько шагов вперёд возможные ходы и их последствия... И чем больше слоёв/нейронов/входов, тем сложнее могут быть предсказания. Но, проблема в том, что обучение ест. отбором - это мееееедленно. Крайне медленно... Сейчас нейронки на практике так не обучают. Используют метод обратного распространения ошибки (градиентного спуска) и его усовершенствованные разновидности, которые быстрее сходятся. Ну а ест. отбор - это скорее удел вот таких вот исследовательско-развлекательных сред just for fun :) ЗЫ: не пробовали тренировать амёб с помощью программы проекта amebas.ru/downloads/ ? Там используется несколько иной подход: исполнимое ДНК (executable DNA) вместо нейросети. Т.е. геном амёбы представляет собой некое подобие программы на своеобразном ассемблере. При выполнении некоторых условий срабатывают триггеры, которые вызывают на исполнение определенные участки генома, что заставляет амёбу совершать какие-то движения... А так, тоже естественный отбор с мутациями и половым размножением. Но проект, к сожалению, автором фактически заброшен. Раньше велись соревнования, была движуха на форуме, а сейчас тишина...

[@foo52ru]

Спасибо, посмотрю

[@user-ue8yg6ky9h]

Это нечто совершенно новое для меня! Подпишусь на Вас!

[@enderbeat8878]

Дарвин против Адама. победил компуктер

[@inketroll5984]

Осторожно молодой человек вы играете в бога

[@melaikinkv]

Думаю, что надо дать змейке осознание самой себя. Врезаются в основном из-за того, что голова не знает где находится тело. Сразу пропадут замкнутые спирали. Дарвиновские змейки учились выживать в других условиях и сравнивать с Адамом не совсем корректно. Пробовали выпускать адамов и дарвинов в те же условия и в том же количестве в которых обучались дарвиновские? Насколько я понял у дарвиновских слабая боязнь стенок из-за большого поля при самообучении.

[@CapitanSuk]

Мне кажется, для змеек что другая змейка, что стена - одно и то же.

[@foo52ru]

Всё верно, змейка "видит" препятствие, не разделяя их на тела или стены.

[@TrishkaBum]

Как круто о.о

[@antokhinabalalayka7579]

О, тришка! Я твой подписчик

[@mels9485]

Огромное спасибо за труд !

[@user-ue8yg6ky9h]

Удивительное видео! Спасибо! Физматы всегда умняшками были! :)

[@alexanderv.2751]

Стиль подачи материала - огонь!

[@user-cm7dl7oo6m]

Группа поддержки этих змеек - бомба! =)

[@volodymyrdonets4166]

Спасибо Вам, за Ваше видео, очень интересно и позновательно!

[@stanislav0803]

Отличный контент! Ждём не хуже)

[@MasterElp]

Отличное музыкальное сопровождение

[@ivanpetrov8600]

Спасибо за отличное видео!

[@user-ue8yg6ky9h]

Статистика классная! Интересно очень!

[@DmitryMikutsky]

Можно алгоритм выхода из лабиринта прикрутить, по ближайшему пути - он простой. рекурсией. на колво шагов не меньше длины змейки, сможно даже учесть длину змейки и движение соперниц. Будет мега змейка!

[@user-bu7vm6mf2x]

Нашел этот канал случайно, но очень заинтересовался. Заинтересовался так что тоже решил заняться изучением нейросетей. Что касается того можно ли считать Это нейросетью - думаю что да. Это не жесткий код, а гибкий и адаптирующийся, можно сказать самообучающийся для поставленной цели. Благодаря этому каналу я начал немного разбираться в этой теме. Все доступно и понятно. Ну а дальше - время покажет. Особо понравилось - подача материала и эмоциональное состояние автора. Так держать. Ждем продолжения. Даже спустя год от последней активности есть люди которым эта тема интересна. Тем более что все сводится к тому что за нейросетями будущее.

[@user-pu8bm3sk2m]

Привет! Классные видео, очень мало такого контента в сети, делай больше) Хочу отметить что Дарвин тренировался в Мире - где оне не вырастает больше 16 и в этот момент отбрасывает хвост. А в Чемпионате он часто дох когда становился длинным, его естественный отбор к такому не готовил. Вторая мысль - попробуй запусти Адама в мир - и среди них отбери Креационисткого Дарвина)))

[@Jokero74]

Хороший пример, иллюстрирующий, что сети это весело, но не эффективно. На обычных ифах с помощью десятка строк кода можно добиться лучших результатов, в том числе и что бы змейка себя в тупик не загоняла.

[@tolaybaton7344]

а если Адама пустить в эволюционный процесс?

[@user-ln5uj7wy1u]

Толя Батон, он испортится, станет грешным и несовершенным.

[@47syorha52]

@@user-ln5uj7wy1u ты оказался прав

[@JosephStalin6730]

@@user-ln5uj7wy1u Ахах. XD

[@TVideoNo]

Твой алгоритм хорошо подойдет для игры в качестве врага, который видит препятствия, обходит и идет за игрокам. Да, есть поиски пути, но тут же он будет как живой, а точнее как тот, кто был его учителем)

[@user-ue8yg6ky9h]

Ой. Уже был фильм про то как, в детские игрушки по ошибке вставили военные чипы, способные к обучению. Ахах. Фантасты плохие идеи подают для реализации. Без них ученые тоже догадалась бы. У нас у всех мозги все же имеют много общего в мышлении.

[@user-ll4dc2fv2v]

10:06 какой напряжённый бой! (За музыку отдельный респект)

[@user-tx8om1kg1q]

Опять интересно! И опять мне сложно уловить все налету. Но круто! Спасибо

[@alexneigh7089]

Классный сериал. Смотрим Рэмбо-2.

[@user-fd9kl9bk4k]

Круто было бы увидеть эту программу, да и как ты программируешь

[@DannyPhantom288]

Спасибо за видео очень интересно и полезно

[@DannyPhantom288]

Качественно и интересно супер спасибо класс

[@user-rr7ki8xt7d]

Ура, новое видео

[@alexneigh7089]

"Попа превращается в голову" хахахаха

[@Partey-xh3fr]

Спасибо) Буду ждать след видео и пытаться повторить что увидел

[@user-zg6mr7fk4q]

Очень залипательно и интересно)))

[@lubyshev]

Можно добавить "ощущение в пространстве" -- при равнозначном выборе направления двигаться в ту сторону, где меньший вес тела. + конечно просчитать хоть один ход вперед. Хотя бы такой: если в результате текущего хода следующий ход причинит смерть - то не двигаться туда ни в коем случае ) + неплохо добавить несколько видов на дарвиновскую площадку. Например добавить Адама, но не изменять его,- чтобы Дарвин приспособился убивать Адамов ))))

[@slawenchikok9819]

вау, ты реально нереально крут

[@user-bb9go8bi9e]

был пример в англоязычном сегменте с нейросетью, там змейка достаточно эффективно научилась не заходить в тупик, сеть была 24х6х4, многослойный перцептрон. Видела в 8-и направлениях еду, стену и себя.

[@user-tt6uq1mb8h]

можешь адам поставить в стимуляцию с мутациями как дарвина , но уже адама и он прокачается на макс посмотрим что получается (люди пролайкайте пост что бы он увидел этот комент, плиз)

[@che19801]

Для меня видео было очень полезно. В плане понимания, что генетический метод не панацея и даже далеко не оптимальный вариант получения AI во многих случаях.

[@FirsovF]

Как же охеренно интересно!

[@Mr.Shokoladniy]

Было бы интересно, если бы змейки видели все поле, видели головы друг друга, обучение было бы команда на команду и мутировали бы победившие команды, ну и такую змейку запустить соревноваться с Адамом и Дарвином

[@user-mg6jq9ll6k]

для избежания самостолкновения можно применять рекуррентную нс, например lstm

[@nRADRUS]

и сколько слоёв придётся делать ? )

[@boriskopeykin3209]

@@nRADRUS правда, сколько?

[@jaloliddinsalaev6987]

Очень!!! Интересное видео, совершенно интересное направление, Автор ты только не оставь это

[@ggeshundra]

Опа нна опа нна Нанананнананананнананананан

[@Pifamar]

Сделай на безе игры Mini Metro игру где, будет нейросеть выбирать как соединять станции что бы получить наиболее большею выгоду, она будет как нейросеть--босс, а также есть рабочие-нейросети которые будут машинистами поездов, там будет система решать на какой станции поезду задерживаться, и на сколько будет задерживаться. И также будут нейронки-пассажиры которые должны выбрать наикратчайший путь до нужный им станции, даже если придётся выбирать путь между несколькими пересадочными пунктами. Надо будет добавить систему интервала поездов, расписание которому надо придерживаться и светофоры. Пусть ещё боссу будет поступать сигнал где показывается сколько пассажиров на станции, от чего он должен выбирать поезд. На пример есть 3 проезда разных длин и стоимости. Первый поезд самый дешёвый, но и в нём меньше мест для пассажиров и в нём хуже управление... От чего нейросети-машинисту будет сложнее ориентироваться. Сделай ещё 3D-мир в котором можно будет только следить за поездами и пассажирами, там будет можно выбирать рандомный поезд и переключать на него камеру, или на пассажира. Пусть и это будет не достаток мир - что в нём можно только наблюдать, но за то можно будет проследить за нейросетью, на пример почему некоторые нейросети-пассажиры не садятся в поезд . Ответ прост - и сразу же ответов два. 1 - Это поезд заполнен. 2 - этот поезд не едет на станцию где можно пересаживаться на другую линию (на пример так в маршруте написано) и 3 или 0 - это то что сам поезд едет по другому пути который вообще ведёт в другую сторону. Думаю что остальное ты сам можешь додумать, либо в попросить меня придумать, просто дальше я уже устал писать.

[@SplashT]

Ну я реально ничего не понимаю, очень прикольно. Анимация огонь 🔥

[@user-ue8yg6ky9h]

Всегда появляется кто-то новый более сильный. Остановитесь, животные! Ни один "геном" вечно не протянет даже в одних и тех же природных условиях, если будет появляться новый вид. Ни один вид тогда навсегда не сможет остаться, даже мутируя или эволюционируя. Эта конструкция - тупик. Всего не предусмотришь. Я считаю, что будет больше благополучия, если все, если не помогать, то хоть лишнее и чужое брать не будут, а еще перестанут пытаться выжить других. Если беда придет, только близкие помогут. Не надо только на себя рассчитывать. Если есть возможность помогать, то помогай. Чужого не бери ни силой, ни хитростью. В идеале все бы начали брать пример друг с друга. А так берем пример только с плохого, с войны и всяких убийц. Если своя жизнь дорога, то уважай и жизнь других. Хотя бы не порть намеренно и не ломай, не лезь, если не просят. Но нет же. Без тормозов. Эти IT-модели тормошат похороненные переживания. Эволюция, тоже мне. Я против. Мне не нравится, что я тут в какой-то моральный бред ударилась. Пожалуйста, не пропагандируйте насилие! Это бесит!

[@jekavorobianinov2445]

Хочу предложить идею! Нужно добавить возможность поедать умерших змеек. Чтобы змейка врезавшаяся в стену, или в себя, или в тело другой змейки своей головой умирала, а ее тело оставалось на поле в качестве еды. Тогда вполне могут появиться виды в геномах. Например хищники одиночки, хищники колективисты, падальщики и просто травоядные. Но для поведения охотников нужно существенно усложнять сеть (добавить несколько слоев, реккурентность) Хотя, скорее всего, без обеспечения инвариантности восприятия окружающего пространства хороших хитрых хищников не выйдет))

[@user-tq6ui1ks5j]

Это гениально!

[@ka4an784]

Всё супер! Я еще после прошлого видео подумал, что можно создать "адама" именно примерно так, как ты сейчас сделал, и это будет наверняка лучше "дарвина", если только дарвину не делать очень долгую эволюцию, тогда может сравняется. Прошу, отобрази матрицы "дарвина" в сравнении с матрицами "адама" в цветографическом виде, типа как в экселе есть такое "условное форматирование" со шкалой цветов в зависимости от значений ячеек. Думаю, будет наглядно видно, где "дарвин" промахнулся =)

[@ka4an784]

Осенило, пишу экспромтом, не обессудь. 1. Веса на препятствия вообще не нужны. Ибо препятствие в соседней клетке - это верная смерть, а в дальних клетках бесполезны, по такому алгоритму пожалуй не вычислить закнутую область. Нужно просто запретить змейкам ходить под себя и в стену. Это не интеллект, это инстинкт. 2. Ввести вес "свободности клетки". Алгоритм такой: а)для каждой клетки рассчитать коэффициент А, равный кол-ву свободных клеток вокруг неё (0-8) (но скорее всего считать только в "крест", т.е. 0-4) б)для каждой клетки рассчитать коэффициент Б, равный сумме коэффициентов А восьми клеток вокруг неё (наверно тоже только четырех клеток) в)аналогично В, Г, Д.... г)Змейка смотрит своим челом на коэффициент Д ближайших трех клеток. Коэффициенты коэффициентов должны быть подобраны так, чтоб самоубийства не свершилось, даже если хавка будет у самого носа. но тут опять Адам-2 получается, т.е. матрично-линейное программирование...

[@axil3910]

Угу, я как-то решил забабахать нейросеть, начал обучать и... постепенно понял что матрично-линейное для тех целей намного эффективнее.

[@user-ue8yg6ky9h]

Ухты как интересно. Спасибо, что не поскупились на комментарий. Такие, как я, в этом плохо смыслят, но хотят хоть что-то понять.

[@babichfx]

Ахха, я в восторге!

[@user-hi6nz2sx3q]

Чтобы змейка не заходила в тупик: когда змейка коснется головой препятствия, даже по диагонали, нужно чтобы змейка выпускала своего рода заливку из своей головы. То есть появляются 2-3 заливки. затем нужно повернуть в заливку с большей площадью. Заливка может совершатся не на весь уровень а скажем на квадрат со стороной 20

[@trueman9363]

Очень любопытно!!!

[@mishatsaritsyn4843]

Уважаемый автор, возможно, уже немного поздно комментировать, но я нашёл это видео только сейчас. То, как вы обучали самых первых змеек - это фактически современные методы обучения без учителя, которыми тренируют нейросетки для шахмат, старкрафта и прочих игр. Единственное отличие - там это делают автоматически следующим образом. Пока змейка жива, запоминаются все её ходы и все датчики, которые были активны на каждом ходу. Затем, если змейка подбирает еду, всем датчикам выдаётся "вознаграждение": их веса увеличиваются, а когда змейка умирает, датчики "наказываются" уменьшением весов. Можно хранить не все ходы, а лишь сколько-то последних, и чем дальше отстоит ход от текущего момента, тем меньше делать вознаграждение и наказание для его датчиков (например, для последнего хода +1, для предпоследнего +0.5, потом +0.25 и так далее). Таким образом, после множества циклов жизни змейки её мозг оптимизируется идти по пути с наибольшей наградой и наименьшим наказанием, то есть жить как можно дольше и есть как можно больше. Кроме того, за смерть можно наказывать сильнее, чем награждать за яблоко. Например, награда +1, а наказание -10, тогда она будет стараться избегать смерти даже ценой потери яблока.

[@KatorgnikYa]

Потрясно!

[@user-nq1sh9hd9b]

Ахренеть у Вас развлекуха!!!! Лайк )

[@dma3166]

Можно использовать чётные дорожки - для движения в одном направлении и нечётные - для движения в противоположном направлении, таким образом будет оставаться "лазейка" для выхода в случае тупиковой ситуации.

[@foo52ru]

Прикинул, нет не получается.

[@user-ue8yg6ky9h]

9:47 - так странно, что один из сиреневых запутался и напоролся на себя. Зелёные на фоне фиолетовых кажутся более хаотичными и медленнее собирают еду. Какие интересные раунды! Надеюсь, они останутся только в виде моделей.

[@Dyas777]

Ваши видео вызывают у меня желание тоже поэкспериментировать с генетическими алгоритмами. Спасибо) Интересно имеет ли смысл на этом этапе внедрение полового размножения для снятия генетического груза?

[@happer2009]

А так-же добавить фактор старения. Прополз 800 клеток - смерть (последние 200 клеток замедлять червя в 2 раза). Размножение только в интервале между 200 и 400 клетками проползания. Ну и не забыть поделить на самок и самцов. А заодно почему бы не добавить разнообразия и внести "гомочервей" которые будут только хавать и умирать. А под занавес заставить родительских гетеро-червей таскать корм детям-червям не достигшим 100 ходов (которые перемещаются к примеру в 3 раза медленнее половозрелых особей).

[@panda_gty]

@@happer2009 Ну ты замутил, и еще влюбляться у кого приоритет, и спариваться,

[@happer2009]

@@panda_gty Согласен. Сделать цветовую дифференциацию по RGB и чем ближе положим B тем больше шансов на спаривание. :-) Ползающий бессмертный коронавирус добавлять пока не будем ?

[@alexkapobel]

мое видение решения проблемы самоубийства змейки: тело змейки - препятствие с разными весами, чем ближе сегмент к хвосту, тем меньше его вес, таким образом если змейка окружена самой собой с нескольких сторон, она с большей вероятностью повернет к хвосту, который к моменту гипотетического столкновения уже сдвинется

[@Leonard_Gray]

Оценивать своё и чужое место относительно всего поля. Создавать группы, которым присваиваются одинаковые "роли". Змейкам надо дать возможность считать много ходов вперёд и передавать информацию о запланированных ходах внутри группы. Это может привести к таким удивительным событиям, как например, организованные нападения, захват территории, контроль численности...

[@Epenckorn]

Чтобы не загонять себя в тупик, нужно научить змеек определять замкнутый контур и точку выхода из него. Если голова находится в замкнутом контуре с точкой выхода, то точка выхода должна становится приоритетной целью. Если голова находится в 1 клетке от замкнутого контура, то нужно сменить направление на клетку вне этого контура. Если голова находится в замкнутом контур без точки выхода, то нужен дополнительный бит состояния (0 - свободен / 1 - заперт). Если 1, то приоритетной целью становится поиск точка выхода, а не еда. Разумеется всё это проверяется только в обозримой области.

[@zealot4325]

Я раньше и не думал, что такие штуки можно с помощью программирования сделать)

[@user-ue8yg6ky9h]

Я тоже :) чудо технологий!

[@mnzznxplay9747]

Можно попытаться научить змейку как можно более эффективно заполнять пространство, как мы обычно и пытаемся сделать играя в нее. Например, можно использовать способ тренировки мультика, только сделать больше препятствий и указывать ей направления, в которые желательно идти чтобы не оказаться в ловушке. Ещё, чтобы змейка правильно выбирала куда ей идти, можно сделать так, чтобы змейка высчитывала количество клеток без препятствий, в которые может добраться, и с той стороны где их было бы больше, туда она бы и шла. В этом случае она тоже может ошибиться, выбрав большое ограниченное пространство вместо узкого коридора, выход из которого лежит за пределами поля зрения, но это тоже можно исправить, если учитывать доступные клетки на границе ее поля зрения. Это змейка может начать проверять, когда препятствия находятся по углам в радиусе 1 клетки, те когда змейка может сделать роковую ошибку и пойти не в ту сторону

[@Valentin_I]

13:19 эпичный звук умирающий змейки)))

[@VideoEffekts]

я делал змейку которая не врезается, и даже их может быть большое количество. Принцип рассчитать ходы на перед на столько сколько сама змейка. Если расчет расчет попадает в тупик. Расчет происходит заново. Даже если выбраться из лабиринта нужно 1000 попыток, для пк это микросекунды.

[@aemarkov]

Добавление скрытых слоев с нелинейностью позволит аппроксимировать более сложные функции, т.е. нейронка сможет научится "замечать" более сложные закономерности во входных данных. Правда, ее стоит обучить классическим методом обратного распространения ошибки (я описал примерную схему в комментарии к предыдущему видео). Но в любом случае она будет ограничена датчиками и тем, что каждое решение применяется только на основе текущей ситуации, не учитывая предыдущие. Я думаю, что стоит разделить датчик препятствия на два - датчик стены и датчик змейки. Добавить память о прошлом можно с помощью рекурентной нейронной сети (напр. LSTM). Также можно попробовать метод, называемый обучением с подкреплением (англ. reinforcement learning). Сейчас это очень трендовый и перспективный метод. С помощью алгоритма Deep Q-learning нейронная сеть научилась играть в старые Atari-игры. Есть и более сложные методы, когда и состояние, и действия представляются не дискретным, а непрерывным множеством, но в Вашем случае, я думаю, хватит и простого Deep Q-Learning. Хороший цикл уроков на эту тему: medium.com/emergent-future/simple-reinforcement-learning-with-tensorflow-part-0-q-learning-with-tables-and-neural-networks-d1a95264329d0, перевод: habr.com/company/newprolab/blog/343834/. Тем не менее, обучение с подкреплением является весьма неустойчивым, может не сходится или требовать очень много итераций.

[@user-pq5bx2md9c]

Мне кажется, это видео немного разжигает)) Боюсь даже ставить лайк)

[@Alex_Ekb]

В таком случае смотреть также не стоило

[@foo52ru]

Тут скорее оскорбление чувств атеистов. За это нет статьи, можешь смело ставить лайк ;)

[@user-pq5bx2md9c]

Поставил, спасибо!) Мой - 348-й, если что, - вы уж берегите его)

[@andreiivanov8396]

Я кайфую от этого:)

[@user-bu7vm6mf2x]

Что касается конкретно данной задачи, то думаю надо расширить объем памяти "мозга" - увеличить дальность видения змейки (хуже точно не будет). И возможно добавить способность различать стены и змей и себя еще отдельно. Так можно отдавать предпочтение тому яблоку где меньше народу крутится.

[@user-wi7bz9zq3e]

Здравствуйте, а вы не могли бы сделать видео с полным разбором кода? Чтобы бы не было проблем по поводу ЯП, предлагаю псевдокод? Надеюсь на вашу отзывчивость :D

[@kirillpankov5144]

Больше подобных видео

[@barmaley3859]

Сделай не случайную еду, а конечное количество, и умирающая змейка даёт не препятствие, а еду на некотором расстоянии. Также можно регулировать выход еды от умирающих змеек и из вне, по сезонам. Летом больше еды зимой меньше, и посмотреть как в такой ситуации сработает естественный отбор

[@vadimche9564]

Мужик ты голова!

[@ketcha_c9251]

Круто!!

[@Psycho-rx5qe]

очень интересно, только я ничего не понимаю, но очень интересно!

[@serverbotbot8809]

Первое правило чемпионата змеек - никому не рассказывай о чемпионате змеек, второе правило чемпионата змеек - никогда никому не рассказывай о чемпионате змеек, третье правило чемпионата змеек - в схватке участвуют только две команды... ))

[@darkfrei2]

Двенадцать безмозглых змеек поставили дизлайки.

[@dawaskrabas8541]

Столько же змеек поставили лайк твоему комменту, а может это они🤔😁😁

[@kaemey4330]

уже 25 гулых "змейки", а по факту не понявших школьников, поставили дизлайки

[@NMelis]

о нет!, они размножаются и ставять дизлайки, следую по стопам своих пердков))

[@empty1685]

очень надеюсь что тупым быть эволюционно не выгодно чтоб они все померли без потомства и дизлайков

[@zzzzzzzz6792]

13:18 Еще на первом видео подумал, почему так спокойно меняется поле, ведь оно является основополагающей составляющей весов для такого интеллекта, иначе их вычисленные значение перенесены на иную карту нивелируется. Ну или если не вносить веса в анализ всей карты игры, на которой учтены другие игроки, или хотя бы что бы змейка имела весы на собственное ощущение тела и своего пространственного положения, что бы иметь возможно корректировать или планировать свои хода исходя из ее окружения

[@FoxSlyme]

8:12 а если бы ты всегда поворачивал угол обзора вместе с головой змейки (как в первой серии), т.е. оставил только влево/вправо/вперёд, то осталось бы 3 значения. А если ещё смещать все числа так, чтобы "вперёд" было всегда 0 (как сейчас ты и сказал), то хранить можно уже 2 значения. Таким образом, можно: 1) исключить возможность мгновенного самоубийства; 2) хранить ещё на одно число меньше. Таким образом, мы храним уже не 4 (как изначально), не 3 (как ты сказал), а уже 2 числа.

[@kotanhp3115]

Примени к Адаму естественный отбор. Видео суперкрутое.

[@TheMrKMen]

Вообще как вариант можно в генетическом алгоритме делать некоторое минимальное количество особей, начиная с которого они становятся бессмертными, но чаще мутируют. Допустим 20 особей бессмертны. Вместо смерти, змейка укорачивается до 4 пикселей и мутирует, отключается временно штраф за голод. Вероятно рано или поздно в такой среде начнут появляться успешные особи, которые будут живучими, независимо от костыля, и самим фактом своего существования вызывать вымирание наиболее неприспособленных.

[@illiakozachok9487]

Спасибо

[@user-fx2cw4gg7x]

Хотябы один дарвин в любом раунде с мультиком обязательно отправлялся отдыхать

[@vitaliykondtatuk3472]

А можна ли етот алгоритм приделать к игре в точки аналог го для нахождения пути?

[@user-jr6ue7rk9p]

Чтоб змейка не заводила себя в тупик, она должна видеть на два шага вперёд.

[@fractal-cucumber]

Как вариант позволить змейке иметь выбор куда повернуть. Скажем, если веса определились как [1,2,3,4], то есть 1 шанс из десяти, что змейка повернет в первом направлении, 2/(1+2+3+4) во втором и т.д. По поводу 'попасть в ловушку'. Для этого как минимум нужно менять площадь обзора в сторону увеличения. По поводу естественного отбора. Стоит следить какая из змеек наиболее часто подбирает еду и размножать именно ее, так как в чемпионате залог победы это именно скорость поедания

[@foo52ru]

"..Стоит следить какая из змеек наиболее часто подбирает еду и размножать именно ее, .." Получиться как раз классический генетический алгоритм. Запускаем кучку змеек. Фитнес-функция отбирает лучших по какому-нибудь параметру. Всё останавливаем. Создаём на основе отобранных змеек новое поколение. И опять запускаем по кругу.

[@karmanov2004]

Вот ты читер Сам создал , сам сломал)

[@mrgold1197]

В какой программе это все делалось ?

[@ishvedkov]

Ещё, пожалуйста

[@100zr]

Вааау Обожаю змеек!

[@user-mh7bb3ei3r]

Просто Супер! На каком языке написано? Есть ли возможность посмотреть исходники? Или алгоритм !

[@foo52ru]

написано на Pixilang. Исходники есть в описании к ролику

[@N05off]

интересно было бы посмотреть на это в трёхмерном измерении)

[@tolpawsta]

Подскажите литературу, по нейросетям и генетическому алгоритму

[@sungvin]

Очень интересная композиция на фоне играет. Никто не может подсказать, как называется?

[@LiveRenderCom]

Хочу ещё!!!)) будут ли более обученный Дарвин лучше чем существующий? Если ему просто дать больше времени?

[@elitube7259]

Круть.

[@niatpacdoog5411]

Я один выбирал из кучи змеек одну и следил за ней, переживал с ней и грустил, когда она умирала