Введение в рекуррентные нейронные сети | #19 нейросети на Python

Что такое рекуррентная нейронная сеть? Recurrent Neural Network (RNN). Ее архитектуры: Many to Many, Many to One и One to Many. Простейшие рекуррентные сети. Сеть Хопфилда и Джеффа Элмана.
Как обучить рекуррентную сеть? Алгоритм Backpropagation Through Time (BPTT) и Real-time recurrent learning - RTRL(h). Понятие устойчивости рекуррентных сетей (нейродинамика).
Телеграм-канал: t.me/machine_l...
Инфо-сайт: proproprogs.ru
Алгоритм back propagation through time.pdf: github.com/sel...

[@Quimorax]

Очень классное объяснение рекуррентных нейронных сетей. +10 мотивации написать нейронку :D

[@jhex490]

Автор огромный молодец, очень просто, подробно и когда рассказывает, прям мотивирует, на свершения. Спасибо!

[@TopBox8509]

Смотреть, нельзя пропустить)

[@dkl6397]

Лучшие лекции. Как всегда. Огромное спасибо!

[@LA-nc6nc]

Позитивный комментарий для отличного курса. Спасибо, Сергей.

[@knocker6970]

Благодарю, Сергей за этот материал!

[@igorvozjen9170]

Благодарю за простую и краткую информацию!

[@user-fx7yx8nk6y]

Большое Вам спасибо!

[@user-ds2cc4sp4f]

Спасибо большое за материал. В интернете очень много информации по данной теме, однако не везде есть математическое обоснование.

[@elizabethgrant6018]

Спасибо Вам огромное!

[@godo4687]

и всё таки, по моему мнению, для шестилеток сложновато...

[@user-km9re6om7j]

Чудесный курс! Очень содержательно и лаконично. Можно вас попросить реализовать RNN не с целью классификации, а математического моделирования какого - либо процесса? Например, свободного падения объекта.

[@selfedu_rus]

Спасибо. Дальше в каком-то занятии (ближайшем) пример прогнозирования временного ряда с помощью RNN.

[@70almaz]

спасибо!

[@alexandersavitski2831]

Топ материал

[@ProGamerFejk]

А можно всё-таки алгоритм BPTT?

[@Egorundel]

Здравствуйте, а какая архитектура подойдет для прогнозирования курса акций?

[@selfedu_rus]

наверное, рекуррентные сети, а что именно здесь брать и что подавать на вход - это уже ваша фантазия + здравый смысл + эксперименты

[@D06P9lK]

Я правильно понимаю, что для анализа движения цен на валютных рынках лучше всго подойдёт рекуррентная сеть?

[@selfedu_rus]

Формально да, но реально все это не особо уже работает )) Роботы на бирже - временная история (работают максимум пол года, потом все менять нужно)

[@D06P9lK]

@@selfedu_rus , подскажите, почему временная история?

[@dubinin_s]

Спасибо за видео, а какие еще Вы бы посоветовали почитать книги по нейронкам?

[@selfedu_rus]

Спасибо. Сам читал мат основу по книгам: 1. Bishop. Neural Networks for Pattern Recognition 2. Хайкин Саймон. Нейронные сети полный курс (2-е издание) Остальное из сети интернет + собственный опыт.

[@user-ek1qb2qo2u]

@@selfedu_rus Спасибо за видео, никак не могу понять где находится веса рекурентного слоя в разных архитектурах(many to many, many to one...)

[@selfedu_rus]

@@user-ek1qb2qo2u Эти слои изображены в виде вычислительного графа и представляют просто один реккурентный слой. В нем веса и хранятся )

[@user-ek1qb2qo2u]

@@selfedu_rus Я удалил комментарий ниже, в нём я сказал какой-то бред. Но мой вопрос всё ещё актуален, если у вас найдется время, то пожалуйста, взгляните на него, спасибо! И так, представим 2 слоя: входной слой с тремя нейронами(x1, x2, x3) и классический рекуррентный слой с 2мя нейронами и функцией активации f. Распишу выходы каждого нейрона рекуррентново слоя. ht1 = f(x1, [0, 0, N]) ht2 = f(x2, ht1]). Получается что x3 не используется, что в этом случае делать? Добавить в рекуррентный слой ещё один нейрон?

[@selfedu_rus]

@@user-ek1qb2qo2u не совсем, у вас на входе будет вектор из трех компонент и на каждой итерации (рекурсии) браться следующий вектор из выборки. На выходе будете получать определенный вектор - результат по схеме Many-To-One. Число итераций (в рекурсии) определяется размерностью входного тензора (это показано в следующем занятии).

[@user-yk2zc8vy6u]

Спасибо за информацию, очень интересно) Не понял только одного, подскажите, пожалуйста Наблюдения и предыдущие результаты сети подаются в нейрон. А как они обрабатываются через функцию активации? По отдельности, перемножаются или как взаимодействиют эти данные в нейроне? Или там функция с двумя параметрами?

[@selfedu_rus]

Спасибо! Там идет вектор h с предыдущего шага и вектор x - текущие данные. Эти векторы объединяются в единый вектор, а дальше все, как и в обычном нейроне.

[@user-yk2zc8vy6u]

@@selfedu_rus получателя двухмерный вектор на выходе "рекурентного" нейрона? Или входные данные умножаются на веса, предыдущие данные умножаются на веса и их складываем?

[@likey_dikey235]

@@user-yk2zc8vy6u Скорее, 2-й вариант. Вы выяснили?

[@nikolayivanov4187]

Здравствуйте! Я хочу разработать карточную игру преферанс на основе нейросети. Какая для этого лучше пойдет архитектура сети, наверное рекуррентная? И в каком виде можно подавать входные данные? Если допустим у нас есть запись игры ввиде последовательных ходов?

[@selfedu_rus]

надо думать, но вроде эту игрушку проще сделать через дерево решений, а не НС

[@nikolayivanov4187]

@@selfedu_rus Если конкретнее . Есть 3 игрока у каждого из игроков есть по 10 карт . От 7 до Туза. Нам надо так разыграть так свои карты ,чтоб набрать максимум взяток. Тут важен порядок ходов ,так как мы обязаны бросать карты в масть , если нет масти козырями бить , а если нет и козырей то сбрасывать любую. В общем комбинации разыгрываются . Игра счетная очень.

[@nikolayivanov4187]

@@selfedu_rus У меня была идея дать карте каждой Id от 1 до 32 по количеству карт . И представить игру ввиде последовательности длинной 30 элементов типа 7,10 , 14 ..... то есть в каком порядке карты бросали. Правда частота появления тут роли не играет так в каждом розыгрыше карта появляется один раз. И как -то в LSTM это использовать. Но как тут указать козырную масть для обобщения неясно. И важно учитывать контекст отыгранных карт.

[@nikolayivanov4187]

@@selfedu_rus В тоже время можно генерировать в цикле имитацию партий где карты будут кидать случайным образом ,а потом как-то отбирать с них лучшие. Но какой алгоритм будет закономерности определять.

[@user-qi9ro8zw4e]

Спасибо большое! Как раз искал такое понятное описание с математическим обоснованием! :) Мне ваше видео даже более понятно, чем вот это: kzbin.info/www/bejne/i3_QooefhNOFnMk, хотя вроде тут совсем для чайников :)

[@JKRoss-or3uz]

ЗБСЬ!

[@u-robot5795]

звук не совпадает с видео! как тут можно что-либо понять???!!!

[@selfedu_rus]

у меня все совпадает

[@channel_SV]

Только в "казнить нельзя, помиловать" смысл в положении запятой, а не порядке слов

[@selfedu_rus]

можно и слова поменять, например, "помиловать нельзя, казнить"

[@channel_SV]

@@selfedu_rus все равно суть в запятой: "помиловать, нельзя казнить"

[@Kopasuy]

Кликбейт, никакого пайтона нет

[@michaelm.9347]

Есть, но хорошо спрятался :) Он в ссылке под видео на пример реализации BPTT