По моему опыту, нейросети работают лучше всего, когда их веса живут в диапазоне от -1 до +1. Если их не ограничивать, они во время обучения начинают неконтролируемо расти и улетают в бесконечность. Я это в шутку называю «нейросеть взрывается». Есть современные техники, которые борются с этим - Batch Normalization, Layer Normalization. Они измеряют параметры нейросети и сдвигают и масштабируют веса так, чтобы их среднее было 0, а дисперсия 1. Если вы собирали сеть из готовых модулей, подозреваю, что в них уже была встроена нормализация.

@@fourZerglings про величалые весы я знаю, и мысль таким способом регулировать довольно хорошая. Но в видосе же речь про нормализацию входных данных

Если у узла умножения два входа (x, y), его градиенты умножаются на (y, x). Если один из входов был не нормализован, то он будет влиять на обучение другого входа. То есть из-за не нормированных входов портиться будет вес нейросети. Поэтому нормализовать надо всё.

Увы, кратко никак. Тут нужен целый курс лекций или учебник.

Привет! Залил код на гитхаб: github.com/jaros3/reinforcement-learning Q-learning - это алгоритм, который строит таблицу ценности Q(s, a) - насколько хорошо предпринять такое-то действие в таком-то состоянии. Эту таблицу обновляем после каждого шага обучения по специальной формуле, где участвует награда. Я учился по книге Sutton, Barto, PDF доступен по ссылке: incompleteideas.net/book/RLbook2020.pdf . Тебе конкретно нужен раздел 6.5: Q-Learning, но лучше читать с первой главы, чтобы погрузиться в термины и алгоритмы. В ситуациях, когда матрицу строить непрактично, потому что она слишком большая или будет долго заполнять каждую ячейку, матрицу заменяют нейросетью, которая отвечает на вопрос: насколько хорошо предпринять действие a в состоянии s, и получается Deep Q-Learning. Для змейки это перебор

@@fourZerglings благодарю

​@@fourZerglingsсолюшн не собирается. нехватает дополнительного кода. The type or namespace name 'LearningStrategies' could not be found (are you missing a using directive or an assembly reference?)

Да, верно

Рано нейросетями заниматься

Зависит от того, какой библиотекой пользуетесь Keras: machinelearningmastery.com/save-load-keras-deep-learning-models/ Tensorflow: www.tensorflow.org/tutorials/keras/save_and_load

​@@fourZerglingseigen c++))

Довольно хорошая штука, если надо маленькую нейросеть обучать быстро и очень много раз, сотни тысяч)

Destroy уничтожает объект не сразу, а после небольшой задержки (типа в течение кадра). Так сделано, чтобы код, ссылающийся на уничтоженный объект, не взрывался исключениями. Это есть в документации к методу Destroy

@@fourZerglings точно,спасибо,не заострил на это внимание в документации.

Это разные типы обучения. И применяются они в разных случаях. Обратное распространение возможно применять если мы знаем верное решение в каждом случае, когда нужно сделать выбор. Например в случае если есть размеченные данные при классификации. Если мы не знаем или не хотим задавать верное решение, то обратное распространение применить не удастся. В этом случае у нас есть оценка общего прогресса fitness. Причем оценка берется с потолка и может быть заменена, если оказалась не удачной. В этом случае приходится применять более медленный генетический алгоритм.

Эм, это вузовская штука?

Не знаком с этой задачей

github.com/jaros3/nn01snake

@@fourZerglings спасибо

1) Топ-две змейки маловато. Генетический алгоритм заинтересован в био-разнообразии. Хорошо иметь в пуле ~100 разных геномов. 2) Специально для змеек-крутилок я ввожу понятие голода: если змейка не находит яблоко в течение 100 шагов, она умирает от голода. Нейросеть действует довольно примитивно: попала в те же обстоятельства - повторяет ту же реакцию; поэтому она зацикливается. Нужно этот вечный цикл как-то разомкнуть

Используй оценку успешности на основании количества съеденных яблок, а именно Успешность = apple + 0.001*time, при этом если второе слагаемое со временем больше, чем первое либо больше какого либо числа, то функция оценки становится равной 0

​@@fourZerglingsо, точно, смерть змейки равносильно оценке успешности равной 0

Нажимаете на имени переменной или функции или класса правой кнопкой → перейти к определению (go to definition). По умолчанию клавиша F12, но я переназначаю на F2, потому что ей реально часто приходится пользоваться.

Надо использовать Autoencoder и GAN (Generative Adversarial Network)

@@fourZerglings Спасибо. Только, разобравшись, я понял что их нельзя использовать для обучения змейки

боже да он рофлит .

Работает

@@АртёмГусев-з1я на старой версии которой лет 10 мб работает, на современных виндовс формах нет, так по другому фото добавляется

github.com/jaros3/nn01snake

@@fourZerglings к сожалению, по ссылке выдаётся 404

@@ТимофейАладьин Да, я переехал на Гитлаб. Поправил ссылку

Учебник Sutton & Barto по Reinforcement Learning: www.incompleteideas.net/book/RLbook2020.pdf

@@fourZerglings спасибо

Советую Blender