Представление текста плотным вектором | Нейросети для анализа текстов

Как использовать плотные векторные представления слов (embeddings) для анализа текста нейронной сетью. Страница курса - www.asozykin.r...
Лекция "Представление текста в цифровом виде для нейросети" - • Представление текста в...
Лекция "Анализ тональности отзывов на фильмы IMDB" - • Анализ тональности отз...
Лекция "Представление текста вектором One Hot Encoding" - • Представление текста в...
Ссылка на ноутбук в Colaboratory - colab.research...
Как можно поддержать курс:
1. Яндекс Кошелек - money.yandex.r...
2. PayPal - www.paypal.me/...
Заранее спасибо за помощь!
Добавляйтесь в друзья в социальных сетях:
вКонтакте - avsozykin
Instagram - / sozykin_andr
Facebook - / asozykin
Twitter - / andreysozykin
Мой сайт - www.asozykin.ru
Мой канал с краткими и понятными объяснениями сложных тем в ИТ и компьютерных науках - / andreysozykincs

[@user-pu1wu8kv5p]

Здравствуйте Андрей. Ваш курс просто шикарный. Пересмотрел несколько книг по ML и несколько других виде-курсов - они не идут ни в какое сравнение с вашим. Вы объясняете все детали и тонкости, при этом без лишних отступлений, всё показано на практике, что необходимо виуализировано, а главное видно, что вы сами хорошо разбираетесь в том о чем говорите. Просмотрел ваш курс практически на одном дыхании за два дня. Всё ложится точно куда надо. Разрозненные знания начали связываться в единую картинку. Спасибо вам. Донат с меня обязательно, Я-деньги и Палка для меня не очень удобные способы, но я найду способ и обязательно передам вам своё "материальное" спасибо :)

[@kantulaev]

Как всегда прекрасная работа, Андрей!

[@AndreySozykin]

Спасибо!

[@user-ej5up4bk8o]

Андрей, продолжай в том же духе. Тема интересная. Спасибо за видео, как всегда всё кратко, понятно и по существу.

[@AndreySozykin]

Спасибо за приятный отзыв, продолжать обязательно буду.

[@pavel2101]

Андрей большое спасибо за классные видео!!!

[@AndreySozykin]

Пожалуйста!

[@MrNovoross86]

Просто супер. Спасибо

[@AndreySozykin]

Пожалуйста!

[@Nurzhanov]

Очень вятно и ясно

[@AndreySozykin]

Привет. Большое спасибо!

[@Gleb_Pastushenko]

На 8:47 ошибка - мы же добавили 4 слова в словарь по-этому "for word_num in range(max_words + 4):"

[@dhsbdhsb6908]

Спасибо за видео

[@AndreySozykin]

Пожалуйста!

[@user-rt1dt5kx3p]

Спасибо!

[@user-zh5ro2wg8m]

Интересно, что качество модели существенно улучшается, если заменить Adam на RMSprop, a токены представлять в виде не двух плотных векторов, а одного. Также неожиданно, что на качество модели сильное влияние оказывает именно стой Flatten, a Dropout - практически не влияет.

[@Gleb_Pastushenko]

Здравствуйте, Андрей. Я так понимаю, что Embedding не должен быть однозначным и после каждого нового обучения (с нуля) будет формироваться массив векторов с другими значениями на тот же список слов?

[@AndreySozykin]

Да, именно так.

[@Julia-ej4jz]

Не смогла уловить, как обучаются эмбэддинги. Просто по контексту, как обычно, или же с учетом тональности. То есть про каждое слово становится известно, положительное оно или отрицательное?

[@ivfnhg9626]

Зравствуйте Андрей! Большое спасибо за ваш курс по нейронным сетям. Я не понимаю смысла Embedding слоя, то есть что он делает я понимаю но для чего он, ведь основную проблемму которая заключается в том что из за большого обьема данных для обучения (в нашем случае max_words) нужно использовать большой обьем памяти ,то есть в итоге Embedding слой все равно развернет входные данные в вектор размерностью max_words и все равно использует тот же обьем памяти. А если размерность входных данных гораздо больше чем у вас , допустим мы работаем не со словарем а с цифрами где минимальная цифра ноль а максимальная десять милионов то что здесь делать, как решить эту проблему (разделение обучающей выборки на части здесь как я понимаю не пройдет ведь размер самой библиотеки не уменьшится а значет и входной вектор останится огромным)? П.С. Вопрос больше относится к рекуррентным нейронным сетям .

[@Nurzhanov]

Привет привет Андрей

[@user-tt8ok4uw1z]

А Emdedding тоже обучается? И как он инициализируется? Берется предобученный из keras?

[@AndreySozykin]

Embedding обучается. Инициализируется случайными значениями, как и любой нейронный слой.

[@vladtamolov2292]

Ёууу