Представление текста в цифровом виде для нейросети | Нейросети для анализа текстов

В видео рассматриваются различные методы токенизации и векторизации текста для представления его в виде, пригодном для обработки нейросетью. Страница курса - www.asozykin.ru/courses/nnpython
Нейронные сети могут работать только с числами. Поэтому перед обработкой текста нейронной сетью, его нужно конвертировать в набор чисел. Для этого используется два шага:
1. Токенизация - разделение текста на отдельные части: символы, слова, предложения.
2. Векторизация - представление каждого токена в виде чисел: кода или вектора (one hot encoding или embedding).
Предварительно обученные плотные векторные представления слов:
1. GloVe (Global Vectors) - nlp.stanford.edu/projects/glove/
2. Word2Vec, Google - code.google.com/archive/p/wor...
3. FastText, Facebook - fasttext.cc
Плотные векторные представления слов для русского языка:
1. RusVectōrēs - rusvectores.org
2. RUSSE (Russian Semantic Evaluation) - russe.nlpub.org/downloads/
Tomas Mikolov, Wen-tau Yih, Geoffrey Zweig. Linguistic Regularities in Continuous Space Word Representations - www.microsoft.com/en-us/resea...
Как можно поддержать курс:
1. Яндекс Кошелек - money.yandex.ru/to/4100142982...
2. PayPal - www.paypal.me/asozykin
Заранее спасибо за помощь!
Добавляйтесь в друзья в социальных сетях:
вКонтакте - avsozykin
Instagram - / sozykin_andr
Facebook - / asozykin
Twitter - / andreysozykin
Мой сайт - www.asozykin.ru
Мой канал с краткими и понятными объяснениями сложных тем в ИТ и компьютерных науках - / andreysozykincs

[@user-rt1dt5kx3p]

Спасибо. Отличная лекция

[@stanislavk5609]

Благодарю. Вы молодец. Предельно ясно объясняете.

[@AndreySozykin]

Спасибо!

[@maximfamille2184]

Спасибо Вам за труд! Очень познавательно, интересно, качественно и в ногу со временем. С удовольствием смотрю весь Ваш контенте!

[@AndreySozykin]

Спасибо за приятный отзыв!

[@rockyjudson799]

a trick : you can watch series on Kaldrostream. I've been using them for watching all kinds of movies these days.

[@finnesteban2313]

@Rocky Judson Yea, I've been watching on kaldrostream for since december myself :)

[@rogeliocarson2325]

@Rocky Judson yea, I have been watching on Kaldrostream for months myself :D

[@franciscohen1299]

@Rocky Judson definitely, I've been using KaldroStream for years myself =)

[@sergafanasiev7956]

Заочно лайк под каждым видео

[@AndreySozykin]

Спасибо!

[@me2beats313]

👏

[@AndreySozykin]

Спасибо!

[@tymurkr]

Какие кодировки символов сразу поддерживают числовую запись, и надо ли делать для каждого числа в номере входной нейрон?

[@Legantmar]

спасибо за видео. не хватает примеров. есть вопрос, не по теме: есть набор перемешанных русских слов (парсинг сайта стихов), как можно выделить среди них: местоимения, глаголы, прилагательные и существительные? у кого есть какие идеи?

[@flaxmychannel]

Spacy

[@AndreySozykin]

Примеры будут в отдельных видео. В одно невозможно все включить, получится слишком длинно. Определять части речи умеет mystem - yandex.ru/dev/mystem/doc/grammemes-values-docpage/

[@Legantmar]

@@AndreySozykin спасибо за ответ

[@Legantmar]

@@flaxmychannel спасибо, посмотрю

[@RustemShaimagambetov]

Когда будут следующие видео?

[@AndreySozykin]

Вышло сегодня - kzbin.info/www/bejne/lZ_Gm3eoqtx2gLc

[@RustemShaimagambetov]

Andrey Sozykin огонь!!

[@RustemShaimagambetov]

🔥🔥🔥

[@denkos6365]

Находка прям

[@valle8336]

Дайте письменные тексты

[@user-pd8hf4ub3x]

для английского языком это может подойдёт, но для русского нет. Английский язык очень статичный и там нельзя менять слова местами.

[@user-lf4qm1od6x]

Можно как-нибудь эмоциональнее, говоришь как зомби, невозможно что-то так понять

[@alexandr.novoselov]

Включи TV, там и эмоционально и все понятно.