Одномерные сверточные сети | Нейросети для анализа текстов

Одномерные сверточные нейронные сети для анализа текстов. Страница курса - www.asozykin.r...
Операция свертки для одномерных данных.
Свертка для анализа текстов.
Свертка для текстов, представленных плотными веторами (embeddings)
Слои подвыборки
Сверточная сеть в TensorFlow и Keras
Сверточная нейронная сеть для определения тональности отзывов IMDB - colab.research...
Добавляйтесь в друзья в социальных сетях:
вКонтакте - avsozykin
Instagram - / sozykin_andr
Facebook - / asozykin
Twitter - / andreysozykin
Мой сайт - www.asozykin.ru
Мой канал с краткими и понятными объяснениями сложных тем в ИТ и компьютерных науках - / andreysozykincs

[@user-ej5up4bk8o]

Спасибо Вам Андрей за шикарные лекции. Хоть кто-то нашёлся, кто на нормальном человеческом языке всё объясняет. Особенно ценно то, что Вы объясняете именно суть процессов. Продолжайте в том же духе. Жду с нетерпением каждое видео.

[@AndreySozykin]

Спасибо за приятный отзыв!

[@francobrecken4304]

i realize Im kinda randomly asking but does anyone know of a good website to stream newly released movies online?

[@raybronson5539]

@Franco Brecken meh I use Flixportal. you can find it on google:D -ray

[@francobrecken4304]

@Ray Bronson thank you, I signed up and it seems to work :D Appreciate it !!

[@raybronson5539]

@Franco Brecken no problem =)

[@user-ur9fs8cx4f]

Спасибо Андрей!

[@AndreySozykin]

Пожалуйста!

[@w1tcherj]

Когда будут сети? Давай о криптографии, какие методы, о pki, vpn.

[@dilp79]

Спасибо

[@AndreySozykin]

Пожалуйста!

[@TheMidjai]

Спасибо за видео! Очень полезное пособие. Такой вопрос: А будет мультилейбловый анализ тональностей?

[@AndreySozykin]

Имеется в виду несколько классов, а не два? Или каждый текст принадлежит нескольким классам?

[@TheMidjai]

@@AndreySozykin про несколько классов с однозначной классификацией упоминалось в прошлом видео в качестве практики (и это не кажется сложным). Но несколько классов с многозначной классификацией вообще никак ещё не затрагивалось, хотелось бы узнать об этом побольше.

[@AndreySozykin]

Да, будет, через несколько видео. Сначала классификация нескольких классов.

[@TheMidjai]

@@AndreySozykin пересматриваю ролики и вижу, что по сути никакие улучшения (свёрточные или рекурентные сети) не улучшают результат (везде ~87), растёт только вычислительная сложность. Мои собственные эксперименты тоже не дали роста. Неужели такими методами на данных IMDb нельзя поднять accuracy выше 90?

[@da_costa-h7t]

@@AndreySozykin Есть вопрос по нескольким классам (практика по прошлому видео) . Оценка 1,2,3,4,5. Я перевел классы в векторы. Функция активации softmax. Функция потери categorical_crossentropy, метрика categorical_accuracy. Но результат не впечатляет. После 10 эпох точность 62%. Больше эпох практически не могу сделать на ПК(долго работает,хоть и на GPU). Я понимаю, что для модели тяжелее определить по тексту 5 классов,нежели 2, Но неужели настолько?

[@leobonston11]

Андрей, спасибо большое за разъяснение. Если Вас не затруднит, то можете пожалуйста ответить на вопрос: На 4:43 вы говорите, что окно свёртки смещается до самого конца. Можете подробней объяснить что именно происходит в самом конце? В вашем примере дошло окно свёртки до слов с числами 136 20 155 16 1416. Сделало свёртку. Получило некоторое число. Как происходит свёртка для последних чисел 20 155 16 1416? Подставляется ноль в конце? Т.е. окно свёртки выглядит как 20 155 16 1416 0, потом 155 16 1416 0 0, потом 16 1416 0 0 0 и последнее 1416 0 0 0 0? Или после окна свёртки получаемая новая размерность сокращается. Т.е. у нас была размерность 15 слов/чисел в предложении. После прохождения окна свёртки с ядром=5 получается размерность 11 слов/чисел? Т.к. окно свёртки равно 5, а в конце у нас останется всего четыре слова/числа? Или для последних четырёх слов/чисел 20 155 16 1416 в конец подставляется первое слово/число 93? Потом, второе слово/число 1655 и т.д.? 20 155 16 1416 93, потом 155 16 1416 93 1655, 16 1416 93 1655 16?

[@AndreySozykin]

Возможны оба варианта, зависит от настроек слоя в TensorFlow.

[@user-rd3lj4gn4s]

Как происходит определение ядер свёртки в процессе обучения? Ведь они не могут меняться за счёт обратного распространения ошибки. И ещё не понял почему на выходе (на 14:15) мы получили всего 200 карт признаков? Ведь вначале мы из одного набора данных сделали 100 карт (используя 100 ядер к одному набору), а во втором свёртывании у нас уже было 100 наборов и используя 200 ядер мы должны были получить 100*200=20’000 карт с признаками.

[@boriswithrazor6992]

Спасибо большое за лекцию! Но хотелось бы уточнить один момент. У нас же количество входных нейронов сети задается заранее, то есть длина анализируемого текста ограничена их количеством, правильно понимаю?

[@sserj01]

13:25 Наверное, не 2 крайних элемента, а 4 последних...

[@AndreySozykin]

Да, два первых и два последних.

[@coolbrain]

на 6-20 веса ядра могут быть разные в рамках 1 столбца? Я же могу пожать эмбеддинг какой нибудь , он может быть как 10 чисел так и 100. А длина ядра свертки 4. Так вот количество весов свертки в случае эмбеддинга 10 равно 4 или 40? И каким образом керас подстраивается под разный размер эмбеддингов ?

[@AndreySozykin]

Количество весов свёртки рассчитывается как размер_ядра_свертки * размер_embedding. Если размер ядра свертки 4, а embedding - 10, то количество весов в матрице свертки - 40. Keras знает размер ядра свертки и embedding, поэтому без проблем рассчитывает нужное количество весов.

[@coolbrain]

@@AndreySozykin мне в группе по нейронкам ответили, что униклаьных весов все таки 4, просто все числа эмбеддинга каждой буквы домножаются на 1 и тот же свой вес . То есть как у вас на слайде, если бы все веса в матрице ядра в одном столбце были бы одинаковыми. Или все они разные все таки ?

[@hansolo5665]

мне надо анализировать (с целью классификации) тестовые сообщения длиной в среднем 5-30 слов. какую длину окна свертки лучше использовать ?

[@AndreySozykin]

5 слов - это очень мало. 30 должно хватить. Можно попробовать окно свертки 5 или 7.

[@user-cx6jy1wr6g]

какой смысл снижения размерности? это не ухудшает качество обучения?

[@AndreySozykin]

Нет, это выделяет существенные признаки. Тем самым улучшает качество обучения.

[@ayfrolov]

Огромное вам спасибо, Андрей, за ваши замечательные лекции. Позвольте задать вопрос, видимо я что-то упустил, но так и не понял, как представить данные для обучения сверточной нейронной сети в виде плотных векторных представлений. у меня имеется следующий dataset: ham *какой-то текст* spam *какой-то текст* ham *какой-то текст* ham *какой-то текст* ну и так далее. Как видно ham и spam - это флаг признака, однако как мне превратить сам текст в удобоваримый для нейросети набор векторов ума не приложу.

[@AndreySozykin]

Во видео с примером подготовки текста - kzbin.info/www/bejne/l2K0kKWworJ4eck Можно использовать pandas.

[@iAlexTube]

Conv1D Covid-19

[@AndreySozykin]

Да, не хорошая ассоциация.