Рекуррентные нейросети | Нейросети для анализа текстов

Лекция по рекуррентным нейронным сетям и их применению для анализа текстов. Страница курса - www.asozykin.r...
В предыдущих видео мы рассматривали анализ текстов с помощью полносвязных нейронных сетей. Такие сети рассматривают текст как набор изолированных токенов. Однако в тексте важное значение имеет последовательность слов. Поэтому для корректного анализа текста нужны архитектуры нейронных сетей, которые могут работать с последовательностями. Одной из таких архитектур и являются рекуррентные нейронные сети.
Основное отличие рекуррентных нейронных сетей - это наличие циклов. Выход нейрона может быть соединен с его входом.
В видео рассматриваются:
Основные проблемы анализа текста полносвязной сетью.
Особенности архитектур рекуррентных сетей.
Разворачивание рекуррентной сети во времени.
Режимы работы рекуррентных сетей - sequence to sequence и sequence to vector.
Использование рекуррентных нейронных сетей в TensorFlow и Keras с помощью слоя SimpleRNN.
Лекция "Анализ тональности отзывов на фильмы IMDB" - • Анализ тональности отз...
Как можно поддержать курс:
1. Яндекс Кошелек - money.yandex.r...
2. PayPal - www.paypal.me/...
Заранее спасибо за помощь!
Добавляйтесь в друзья в социальных сетях:
вКонтакте - avsozykin
Instagram - / sozykin_andr
Facebook - / asozykin
Twitter - / andreysozykin
Мой сайт - www.asozykin.ru
Мой канал с краткими и понятными объяснениями сложных тем в ИТ и компьютерных науках - / andreysozykincs

[@shaha2411]

Спасибо большое Вам! Многого научился у Вас, вы мой стартовый наставник. Ваши труды многим помогают разобраться с нейросетю и развиваться в этой области! Вы замечательный человек!

[@AndreySozykin]

Спасибо за приятный отзыв! Успехов!

[@noname-r9k3t]

Спасибо вам большое. У вас талант преподносить материал просто и понятно.

[@k4sk4d]

Давно не увлекаюсь уже, другая работа, но смотрю. Спасибо Андрей, что не оставил просвещать.

[@AndreySozykin]

Пожалуйста!

[@dimitriywhite7728]

протяжное "до свидаания" в конце топ вообще)

[@AndreySozykin]

;-)

[@НиколайКоротков-ъ7с]

Очень интересно. Спасибо за видео!!!!

[@AndreySozykin]

Пожалуйста!

[@5elll960]

Как же долго вас не было на ютубе - рад вас видеть, Андрей, здравствуйте. Мб своевременные донаты простимулируют вас на подготовку новых материалов и почаще? ;)

[@AndreySozykin]

Была большая загрузка на работе. Сейчас планирую вновь войти в ритм и выпускать по видео в неделю.

[@СолодушкинСвятослав]

Спасибо! Очень познавательно

[@alexeypolimer1429]

Вижу видео, ставлю лайк)

[@AndreySozykin]

Спасибо!

[@alexeypolimer1429]

@@AndreySozykin Планируете ли вы видео по технологиям gpon gepon?

[@AndreySozykin]

К сожалению, в этих технологиях не разбираюсь, поэтому вряд ли смогу сделать хорошие видео.

[@ИванГрозный-ц5о]

просто и доступно, спасибо!

[@ArtemEngineerRVA]

Пасибо. Ждем-с

[@AndreySozykin]

Пожалуйста!

[@НатальяСоколова-я1г]

Андрей, спасибо большое за понятное объяснение. Хотелось узнать, какой подход в рамках реккурентных сетей стоит применять к классификации очень похожих текстов? Есть ли к-н практики и осветите ли Вы данных момент в к-н своем ролике в будущем?

[@AndreySozykin]

Да, в следующих видео будут конкретные примеры использования как рекуррентных, так и других типов сетей для классификации текстов.

[@ArtemEngineerRVA]

Андрей, а рассмотрение структур SAT-солверов в тематику вашего канала не вписывается?

[@AndreySozykin]

Нет, к сожалению. Я сам не разбираюсь в SAT-солверах, поэтому вряд ли смогу хорошее видео сделать.

[@avdeevgr]

Андрей здравствуйте! Можно ли вас попросить записать такой вебинар или стрим провести на тему создание нейронной сети с самого начала и до запуска. Что бы был живой пример и коментраии от професионала, тоесть от вас. Спасибо. Если было уже такое то дайте ссылку)

[@AndreySozykin]

Имеется в виду самостоятельно все с нуля разработать? Или с помощью готовых библиотек?

[@avdeevgr]

@@AndreySozykin Андрей спасибо вам за ответ! С помощью готовых библиотек. С нуля это будет слишком)

[@rKvinty]

@@avdeevgr А я вот сам всë разрабатываю) (И самое сложное это не реализация, а поиск точной информации)

[@zzzCyberzzz]

Подскажите, какая сеть наиболее подходит для предсказания временных рядов? Видел дипломную работу, ряд преобразуется в 2д и загоняется в 2д сверточную сеть. Но там только теория без конкретных структур и размеров. И ещё как-то делают смешанные сети, но как это делать в керасе?

[@AndreySozykin]

Зависит от конкретной задачи и временного ряда. Я бы начал с простого бейзлайна типа предсказание среднего из последних N значений, возможно, ARIMA. И дальше попробовал бы LSTM, GRU и одномерные сверточные сети. Смешанные сети в Keras можно делать, используя сверточные и рекуррентные слои (keras.io/examples/imdb_cnn_lstm/) или комбинированные слои типа ConvLSTM2D.

[@zzzCyberzzz]

А если у меня задача, аналогичная этой: stackoverflow.com/questions/51344610/how-to-setup-1d-convolution-and-lstm-in-keras с несколькими каналами? Как лучше сеть организовать? Наверно Conv2D сначало нужно использовать, а потом уже LSTM слой? Но пока сеть с несколькими Conv1D дает лучший результат((

[@AndersonSilva-dg4mg]

Андрей, подскажите пожалуйста, а по обычным сетям больше ничего не будет?

[@AndreySozykin]

Будет. Сейчас готовим полностью обновленную версию курса, предназначенную для программистов.Там будет другой подход к объяснению, начиная с прикладного уровня вниз по модели OSI.

[@AndersonSilva-dg4mg]

@@AndreySozykin а старые видео удалите?

[@AndreySozykin]

Думаю, нет. Для новых создам отдельный плей-лист.

[@AndersonSilva-dg4mg]

@@AndreySozykin не удаляйте, все же труды вложены и материал полезный еще

[@koanvic]

@@AndreySozykin Када?

[@hubstrangers3450]

Hi could you provide a transcript of yours (email), which could be translated to English please, demos certainly provides a picture how you arrived at your code block, transcript will certainly help what your stating in you're demos. Thank you

[@shaha2411]

Интересует сеть со смешанными входными данными (например изображение и цифровые данные), то есть сети с несколькими входами. В KERAS -е есть функциональный API, но примеров решение задач почти нет (только у одного автора нашел, но почему то не получается воспроизвести его задачу): www.pyimagesearch.com/2019/02/04/keras-multiple-inputs-and-mixed-data/

[@AndreySozykin]

Вот пример создания сети с двумя входами и объединением данных через functional API в Keras - link.medium.com/wyNAGR7J50

[@shaha2411]

@@AndreySozykin Огромное спасибо, Андрей Владимирович!

[@РАБОТЯГАСЗАВОДУ]

Вы говорите, что нужно создать столько копий рекурентной нейронной сети развернутой во времени, сколько элементов входных данных в последовательности, но далее передаете параметр 8, хотя данных больше. Правильно ли я понимаю, что сеть автоматически создает эти копии для каждого элемента, а передаваемый параметр 8 является количеством итераций? То есть сигнал 8 раз пройдет по множеству копий рекурентного слоя прежде чем наконец-то попадет на полносвязный слой?

[@КАНАЛВСЁ-ю6с]

смукаааа

[@rKvinty]

Мне кажется тот параметр "8" означает количество нейронов в этом рекурентном слое

[@Русь-Родина]

Слишком поверхностное изложение материала. По сути ни о чем.