Анализ тональности отзывов на фильмы IMDB | Нейросети для анализа текстов

Применение Keras и TensorFlow для определения тональности текстов. Страница курса - www.asozykin.r...
Рассматривается загрузка набора данных IMDB средствами Keras. Выполняется исследование набора данных IMDB и предварительная подготовка. Классификация выполняется с помощью полносвязной нейросети.
Ссылка на ноутбук из видео - colab.research...
Описание набора данных IMDB - ai.stanford.ed...
Лекция "Представление текста в цифровом виде для нейросети" - • Представление текста в...
Русскоязычный корпус коротких текстов RuTweetCorp - study.mokoron.com/
Как можно поддержать курс:
1. Яндекс Кошелек - money.yandex.r...
2. PayPal - www.paypal.me/...
Заранее спасибо за помощь!
Добавляйтесь в друзья в социальных сетях:
вКонтакте - avsozykin
Instagram - / sozykin_andr
Facebook - / asozykin
Twitter - / andreysozykin
Мой сайт - www.asozykin.ru
Мой канал с краткими и понятными объяснениями сложных тем в ИТ и компьютерных науках - / andreysozykincs

[@dinarakhaydarova4898]

один из немногих русскоязычных каналов для качественного изучения nlp

[@AndreySozykin]

Спасибо!

[@user-dp6th8mu6v]

Просто великолепное видео! Спасибо за Ваш глубокий педагогический подход!

[@user-ej5up4bk8o]

Как всегда отличное видео, спасибо. Уже третий раз по окончании закрываю его а потом открываю заново, чтобы лайк поставить. Добавь напоминание в конце - ставьте лайки, подписывайтесь на канал... думаю количество лайков должно возрасти.

[@AndreySozykin]

Спасибо за приятный отзыв. Напоминание про лайки и подписки в видео меня раздражает :-) Думал, большинство людей также относится. Или наоборот, все уже привыкли к призывам ставить лайки?

[@ArmwrestlingTV]

Andrey Sozykin контент супер годный, спасибо

[@achilleselon5168]

i realize Im kind of off topic but does anyone know a good website to stream new movies online?

[@gideonmorgan9684]

@Achilles Elon i use FlixZone. Just search on google for it =)

[@sorenkane5865]

@Gideon Morgan definitely, been watching on FlixZone for since april myself :D

[@galymzhankenesbekov2924]

просто прекрасные видео! Огромное вам спасибо, за знания!

[@AndreySozykin]

Пожалуйста! Рад, что понравилось!

[@Ankerok1]

Спасибо за видео, ждем следующих двух! В них вы покажете способы визуализации результатов? В форме пятиконечной звезды, например, или другими.

[@AndreySozykin]

Не понял про визуализацию в форме звезды :-) Можете дать ссылку на примеры?

[@MrNovoross86]

Очень очень интересно. Большое спасибо!

[@AndreySozykin]

Пожалуйста!

[@DenisDementiev]

Огромное Вам спасибо!

[@AndreySozykin]

Пожалуйста!

[@Sketlaver]

Ни разу не программист, но чет стало интересно как можно создать нейросеть которая будет играть в игру сама. Очень хочется посмотреть за процессом обучения.

[@AndreySozykin]

В видео используется обучение с учителем, а для игр применяется другой тип обучения - обучение с подкреплением.

[@user-rt1dt5kx3p]

Спасибо. Очень познавательно

[@jjj78ean]

Хорошее видео. Но совершенно непонятно , что делать не с готовым датасетом, а со своим. Не мог бы ты на небольшом примере показать, как например самим из 100 отзывов сделать датасет(токенизация,стемминг, создание массива нулей\единичек) и как засунуть это добро в нейросеть

[@AndreySozykin]

Про работу со своим набором данных есть отдельное видео - kzbin.info/www/bejne/l2K0kKWworJ4eck

[@da_costa-h7t]

Это же не относится напрямую к машинному обучению. Достаточно знать немного программирование

[@shaha2411]

Спасибо большое!

[@AndreySozykin]

Пожалуйста!

[@yaroslavmironov1075]

Для рекурентных сетей рекомендуется использовать оптимизатор RMSProp

[@AndreySozykin]

Есть такие рекомендации, но также есть и рекомендации использовать adam. Мне кажется, лучше пробовать оба оптимизатора.

[@yaroslavmironov1075]

@@AndreySozykin а в каких случаях лучше использовать adam?

[@user-ur9fs8cx4f]

Спасибо!

[@AndreySozykin]

Пожалуйста!

[@kuqmua755]

Можете подсказать примеры детекции например "котиков/собачек" в реальном времени. Например есть news feed и для каждого поста где прикреплено изображение нужно задетектить на изображении "котика/собачку", а затем провернуть какое-то действие с этим постом до того как показать пользователю. Больше всего интересно может ли такая система с большим количеством обьектов детекции работать в real time ну или с задержкой 1-5 мин(и как оценить время детекции и размер моделей- держать их в оперативке или на ссд/жестком диске? Сколько вообще памяти могут занимать модели? Есть какая-нибудь статистика?). Интересует сколько может занимать вес модели и примеры архитектур паралельной детекции. (Например встроить промежуточный сервер который будет находиться между соц сетью/блогом и пользователем, принимать ленту новостей с сервера соц сети, детектировать кошечек/собак, удалять посты с ними а затем возвращать ленту новостей пользователю уже без кошечек и собак

[@AndreySozykin]

Интересное предложение. Сделать можно, но проект будет достаточно большой и сложный. Кроме того, нужно много всего дополнительно к нейросетям знать, в том числе как деплоить модели на серверы и т.п. Работа в реал-тайм - это тоже отдельная большая тема.

[@kuqmua755]

@@AndreySozykin а где про это можно спросить кроме чатика opendatascience в слаке или в каком-то чате телеграмма не подскажите?

[@saralige]

Скорее всего, у вас оговорка. Слово "the" имеет код 4 а не 3, и так далее...

[@AndreySozykin]

Да, не правильно сказал. Спасибо, что заметили.

[@derafum]

Спасибо за видео. Для русского языка подойдёт нейросеть ?

[@ne4to777]

Я так понимаю, расчет количества нейронов и слоев это тайна за семью печатями, которую знают только избранные

[@AndreySozykin]

Нет, это не тайна, а сложное искусство подбора гиперпараметров. Его значительно облегчают автоматические инструменты, такие как Keras Tuner и HyperOpt.

[@user-hs5ix8rk7x]

Мне показалось, или вы не отмасштабировали данные перед обучением. Насколько я понимаю, для сетей это критично. Когда-то читал, что переобучение может возникать в таких ситуациях, если алгоритм определения нормы по перекрестной энтропии и оптимизатор вообще сработают. Или масштабирование где-то выполнилось автоматически?

[@user-hs5ix8rk7x]

I am a little confused

[@da_costa-h7t]

Думаю автор просто показал как делать не нужно)

[@EdwVee]

Почему слов 200, а входных нейронов 128?

[@AndreySozykin]

Количество входный нейронов может быть любым, не обязательно по количеству слов. Каждое слово подается на вход всем нейронам. Поэтому проблем с разнам крличеством слов и нейронов не возникает.

[@EdwVee]

@@AndreySozykin я не понимаю как это происходит. Вы не могли бы объяснить? Если каждое слово подаётся на вход каждому входному нейрону, то это и должны быть входные нейроны, а входные промежуточными. То есть нейросеть из четырех слоев с конфигурацией 200 128 64 1 получается.

[@user-hs5ix8rk7x]

@@EdwVee можешь считать, что данные, которые подаются на вход (они же слова, точнее их интерпретация в виде частотности), это нейроны с линейным автиватором, у которых есть свой весовой коэффициент.

[@ne4to777]

Честно говоря, прозрел, когда увидел, что тексты оцифруют по принципу частоты их использования и это даст результат. Как оказалось, не даст. Зачем тогда это видео?

[@AndreySozykin]

Это дает результат, но не для нейронок.

[@RustemShaimagambetov]

Добрый день, Андрей! Позвольте спросить 1.А что за 4-ое видео с ограниченным доступом?) 2.когда будут следующие выпуски?? Очень сильно ждем! 3.Касательно обучения word2vec, например для казахского языка. Где можно подобрать для него соответсвующий датасет? Пробовал через api wikipedia kz, но там статьи поштучно парсить долго времени уходит(статей 200к+), встречали ли вы для таких случаях собранные в одном месте такие данные.

[@AndreySozykin]

Видео с ограниченным доступом - это и есть следующий выпуск :-) Что-то было неправильно с настройками публикации, сейчас починил и видео доступно. С датасетами на казахском языке не встречался, к сожалению.

[@da_costa-h7t]

Нашли данные на казахском?)

[@vladtamolov2292]

Норм

[@user-kw4zk6xm3l]

А лекций нет, обман, ЖУЛИК

[@doniyordjon_pro]

index = 3 message = '' for code in x_train[index]: word = reverse_word_index.get(code-3, '?') message += word + ' ' message _________________________ что значит code-3, и почему именно -3 ?