Анализируем отзывы YELP сетью LSTM | Нейросети для анализа текстов

Определение тональности отзывов из набора данных YELP с помощью нейронной сети LSTM. Страница курса - www.asozykin.ru/courses/nnpython
Набор данных YELP - www.yelp.com/dataset
Наборы данных курса fast.ai - course.fast.ai/datasets
Ноутбук с кодом из видео - colab.research.google.com/dri...
00:40 - Набор данных YELP
04:35 - Загрузка набора данных YELP в Colab
Добавляйтесь в друзья в социальных сетях:
вКонтакте - avsozykin
Instagram - / sozykin_andr
Facebook - / asozykin
Twitter - / andreysozykin
Мой сайт - www.asozykin.ru
Мой канал с краткими и понятными объяснениями сложных тем в ИТ и компьютерных науках - / andreysozykincs

[@sergafanasiev7956]

Дай бог тебе здоровья, милый человек!

[@AndreySozykin]

Большое спасибо!

[@user-kf5bl1ny3m]

Делаю диплом, связанный с нейросетями. Считаю Ваши видео очень полезными, большое спасибо!👍👍👍👍👍

[@AndreySozykin]

Спасибо за приятнй отзыв!

[@user-sg5md2os7i]

Такая же ситуация) Если не секрет, как защитился? Какая была тема?

[@internetweb3.069]

@@user-sg5md2os7i ахахах товарищи, теперь и у меня та же история я в процессе написания

[@Euronull]

Спасибо, Андрей. Вас очень приятно смотреть и слушать. Очень хорошо поставлена речь.

[@leobonston11]

Очень крутые у вас видео. Спасибо огромное за ваш труд))😀

[@bralbral]

Отлично "разжёвываете" для новичков! Спасибо!

[@AndreySozykin]

Пожалуйста! Рад, что нравится!

[@paulil]

Андрей! Ты супер!!!

[@AndreySozykin]

Спасибо!

[@user-lw7sy6vn7s]

Здорово! Спасибо! Ждем детектирование и сегментацию изображений на своем наборе данных)

[@AndreySozykin]

По обработке изображений буду переделывать большую часть видео на Tensorflow 2.0 и tf.data. Там много изменений именно в подготовке своих наборов данных.

[@user-ej5up4bk8o]

Заработало!!! Респект за настойчивость. Как всегда всё по теме и как надо. Жду следующие видео.

[@AndreySozykin]

Отлично!

[@dimonickb.5423]

Невероятно круто. Спасибо

[@web_kub]

Здоровья тебе и твоим близким! Спасибо!

[@AndreySozykin]

Спасибо!

[@funnix6922]

Делаю диплом, связанный с нейросетями. Считаю твои видео очень полезными, большое спасибо!

[@AndreySozykin]

Пожалуйста! Рад, что видео полезны!

[@web_kub]

Ты супер! Спасибо!

[@shaha2411]

Рад Вас увидеть снова, долга ждал Вас! Спасибо за видео

[@AndreySozykin]

Пожалуйста!

[@nihao_nadya]

Спасибо!!!

[@p0z1ck]

Крутой канал! Андрей, продолжайте снимать! Нужно немного подтянуть произношение английских слов)

[@AndreySozykin]

Спасибо за приятный отзыв! Над английским работаю.

[@IExSet]

С этим откликом для сохранения лучшего результата прям очень полезная штука. Минусом всего курса считаю, что не понятна размерность всех объектов, которые представлены в нейронной сети. Неплохо бы покомпонентно всё визуализировать. К тому же Питон, являясь динамическим языком, скрывает типы передаваемых аргументов. По сути это решается на практике, например отдельно можно погонять слой Embedded, отдельно рекурентные с разными опциями - return_sequence и т.п., свёрточные так вообще странные, говорит 100 ядер свёртки. Мне лишь важно, что в результате мы получим 100 слоёв с проекциями ядер длинной в 5 элементов (????), т.е. 100 векторов, размерностью 96 (из-за краёв), потом пуллинг смотрит в какой то точке сквозь эти 100 векторов и выбирает максимальный элемент в пределах 1 или 2-х, обратно получаем 1 вектор длиной 96 или 48. Кстати не понятно, что хорошего от того, что мы валим всё в кучу со 100 свёрток, по сути метим на векторе исходных данных "здесь что то нашли, а что именно забыли", по идее тут бы тоже порождать плотный вектор меньшей размерности, как для унитарного кодирования слов, ведь набор свёрток в какой точке это как бы код смысла в этой точке.

[@oldudot6940]

Класс

[@AndreySozykin]

Спасибо!

[@websoda]

спасибо

[@AndreySozykin]

Пожалуйста!

[@user-fx1rw6lq9l]

Привет, Андрей Созыкин

[@AndreySozykin]

Привет ;-)

[@user-fx1rw6lq9l]

@@AndreySozykin Ты похож на телеведущего программы "Мир наизнанку" )

[@bfdhtfyjhjj]

Топ

[@AndreySozykin]

Спасибо!

[@alexmangir]

Токинайзер ведь запоминает не только слова, но и символы. Поэтому в плохом комментарии скорее всего будет встречаться грустный смайлик, а в хорошем наоборот веселый. Я бы предложил для начала почистить данные и убрать все что не является словом. Из-за того что сеточка может запомнить смайлики, она выучит в основном только их и даже если в добром комменте встретится грустный смайлик, она ошибется. Так же было бы неплохо еще разбивать слова на стэмы.

[@AndreySozykin]

Все, что вы пишите, правильно. Но у меня в курсе основной акцент на нейронки разной архитектуры. Поэтому про подготовку данных информация минимальна, иначе до нейронок многие слушатели не дойдут :-)

[@RustemShaimagambetov]

Андрей, еще вопрос, будут ли уроки касательно переводов аудио дорожек в текстовые значения. Спасибо что отвечаешь на каждый оставленный комментарии.

[@AndreySozykin]

К сожалению, я в этом не разбираюсь совершенно. Поэтому вряд ли смогу сделать хорошее видео.

[@bfdhtfyjhjj]

Андрей, хотелось бы посмотреть реализацию переводчика на нейросетях. Уж очень мало информации в интернете по данной теме.

[@AndreySozykin]

Да, будет. Это одна из задач анализа текстов

[@RustemShaimagambetov]

Добрый день, Андрей! Подскажите, а в будущем вообще есть вероятность что-нибудь будет на pytorch

[@AndreySozykin]

Про PyTorch не уверен. Это хороша библиотека, но она сложнее, чем Keras. Для вводного курса по нейронкам Keras, на мой взгляд, подходит лучше всего. Тяжело изучать одновременно нейронные сети и сложную библиотеку на Python. После освоения основ нейросетей можно уже переходить к PyTorch.

[@etudarium5387]

Спасибо за видео. А если загружать данные на Windows, там код другой уже нужен или такой же как и для Линукса, как у вас?

[@AndreySozykin]

Насколько я понимаю, такой же. Но сам не пробовал.

[@siigma_music_01]

Вот обучили нейросеть классифицировать текст на обучающей выборке, и что будет если тестировать на тех словах которые не встречались в словаре при обучении? что выведет модель?

[@AndreySozykin]

Это слова не будут учитываться. Вместо них может быть специальный код "неизвестное слово". А токенизатор Keras для неизвестных слов вообще не выдаёт чисел.

[@aleksandr2871]

Добрый день, спасибо за видео! Подскажите, пожалуйста, а случайно нет ноутбука с кодом для полного набора файлов (full)?

[@AndreySozykin]

Добрый день. К сожалению, нет.

[@user-ef5db5ld9r]

Норм

[@AndreySozykin]

Спасибо!

[@macondos20]

Андрей, а есть ли смысл, в плане, во-первых, скорости обучения, во-вторых, качества для слоя Embedding использовать словарь GloVe, Word2Vec? И будет ли это работать например с русским языком? А также имеет ли смысл делать лемматизацию исходных форм слов? Особенно актуально это, я думаю, для русского языка.

[@AndreySozykin]

Использовать предварительно обученные Embedding'и почти всегда имеет смысл. GloVe уже устарел, лучше использовать Word2Vec или fasttext, у которых выше качество. Об этом будет отдельное видео.

[@yuriyshepard4694]

Спасибо большое за курс! Есть вопрос, вот у вас в эпохах написано количество сэмплов: Epoch 1/5 57084/504000 у меня вместо 504000 написано 275, при этом самих новостей/комментариев намного больше - где-то 40тыс. Вопрос, что указывает этот параметр конкретно. Не могу понять. Извините, если вопрос ламерский - я в этом совсем ноль ещё

[@AndreySozykin]

Возможно, у вас написано количество мини-выборок, а не сэмплов.

[@zzzCyberzzz]

Давайте уже перейдем к предсказанию цены акций с помощью НС)). Просто как эксперимент: получится/не получится.

[@AndreySozykin]

Точно не работает. Я против таких вещей, даже в демо режиме.

[@AndreySozykin]

Скорее всего, 3 вариант. Особенно неприятно будет, если кто-то мое демо решение возьмет и будет на его основе реально торговать :-( Так что даже демо не буду выкладывать. Кто хочет, может у Siraj Raval посмотреть ;-)

[@user-wp5hc5do8j]

Андрей, спасибо большое за курс, это просто находка! Собрал ноутбук на своих отзывах, проверяю тестовую выборку model.evaluate(x_test, y_test, verbose=1). Возник вопрос: x_test у меня ~8000 записей, а результаты evaluate показывает 276/276 [============] - 1s 4ms/step - loss: 0.1068 - accuracy: 0.9650. Почему только 276 записей из тестовой выборки обрабатывается?

[@AndreySozykin]

276 - это не записей, а мини-выборок (batch).

[@user-wp5hc5do8j]

@@AndreySozykin другими словами весь тестовый набор прогнался, точность 96,5%?

[@user-eh2mw2ys2y]

что делать если обучение не происходит? Обучение начинается и дальше надписи Epoch 1/4 никуда не двигается

[@user-vn5wv6ix7z]

Здравствуйте будут ли уроки по сети и системы коммуникаций ?

[@AndreySozykin]

Да, будут. После того, как закончу курс по анализу текстов нейросетями.

[@dimitriywhite7728]

как думаете, Tokenizer Keras'а подойдёт для русскоязычных текстов?

[@AndreySozykin]

Попробуйте ;-)

[@cassidy7172]

Здравствуйте, при загрузке собственных данных на том этапе, где "обучаем токенизатор на отзывах" выдаёт ошибку на строчке "text = text. lower()" и подписывает, что это "AttributiveError: 'float' object has no attribute 'lower'. В коде ничего не менялось, помимо того, что были вставлены другие данные. Подскажите, пожалуйста, с чем это может быть связано.

[@AndreySozykin]

Судя по сообщению об ошибке, тип данных float. То есть попытка у float вызвать метод lower(), которого нет. Смотрите, что в переменной text.

[@dennagato]

Здравствуйте. Подскажите, а зачем ограничивать максимальную длину отзыва? Разве LSTM не работает с входными данными произвольной длины?

[@AndreySozykin]

С данными произвольной длины длины можно работать в режиме sequence to sequence. А для классификации нужно ограничивать длину.

[@dennagato]

@@AndreySozykin то есть я правильно понимаю, что если мы хотим использовать РНС для задач классификации, то мы не можем подавать вектора произвольной длины? Если да, то почему так?

[@boriswithrazor6992]

@@AndreySozykin Спасибо за лекцию! А можете подробнее ответить, почему все-таки нельзя использовать вектора произвольной длины в задачах классификации

[@Jenya__S]

Привет =) перерыл весь интернет, не могу найти ответ : otvet.mail.ru/question/193137720 Пожалуйста помогите разобраться с настройкой драйвера сотового 4G модема

[@AndreySozykin]

В таком не разбираюсь, к сожалению!

[@dmitryponomarenko2250]

Андрей, здравствуйте! Есть задача по определению номера объекта в промышленных условиях. Могли бы Вы помочь с этим? Пжлст, напишите - [e-mail] Заранее признателен!