Одномерные сверточные сети | Нейросети для анализа текстов

[@НиколайКоротков-ъ7с]

Спасибо Вам Андрей за шикарные лекции. Хоть кто-то нашёлся, кто на нормальном человеческом языке всё объясняет. Особенно ценно то, что Вы объясняете именно суть процессов. Продолжайте в том же духе. Жду с нетерпением каждое видео.

[@AndreySozykin]

Спасибо за приятный отзыв!

[@francobrecken4304]

i realize Im kinda randomly asking but does anyone know of a good website to stream newly released movies online?

[@raybronson5539]

@Franco Brecken meh I use Flixportal. you can find it on google:D -ray

[@francobrecken4304]

@Ray Bronson thank you, I signed up and it seems to work :D Appreciate it !!

[@raybronson5539]

@Franco Brecken no problem =)

[@leobonston11]

Андрей, спасибо большое за разъяснение. Если Вас не затруднит, то можете пожалуйста ответить на вопрос: На 4:43 вы говорите, что окно свёртки смещается до самого конца. Можете подробней объяснить что именно происходит в самом конце? В вашем примере дошло окно свёртки до слов с числами 136 20 155 16 1416. Сделало свёртку. Получило некоторое число. Как происходит свёртка для последних чисел 20 155 16 1416? Подставляется ноль в конце? Т.е. окно свёртки выглядит как 20 155 16 1416 0, потом 155 16 1416 0 0, потом 16 1416 0 0 0 и последнее 1416 0 0 0 0? Или после окна свёртки получаемая новая размерность сокращается. Т.е. у нас была размерность 15 слов/чисел в предложении. После прохождения окна свёртки с ядром=5 получается размерность 11 слов/чисел? Т.к. окно свёртки равно 5, а в конце у нас останется всего четыре слова/числа? Или для последних четырёх слов/чисел 20 155 16 1416 в конец подставляется первое слово/число 93? Потом, второе слово/число 1655 и т.д.? 20 155 16 1416 93, потом 155 16 1416 93 1655, 16 1416 93 1655 16?

[@AndreySozykin]

Возможны оба варианта, зависит от настроек слоя в TensorFlow.

[@w1tcherj]

Когда будут сети? Давай о криптографии, какие методы, о pki, vpn.

[@coolbrain]

на 6-20 веса ядра могут быть разные в рамках 1 столбца? Я же могу пожать эмбеддинг какой нибудь , он может быть как 10 чисел так и 100. А длина ядра свертки 4. Так вот количество весов свертки в случае эмбеддинга 10 равно 4 или 40? И каким образом керас подстраивается под разный размер эмбеддингов ?

[@AndreySozykin]

Количество весов свёртки рассчитывается как размер_ядра_свертки * размер_embedding. Если размер ядра свертки 4, а embedding - 10, то количество весов в матрице свертки - 40. Keras знает размер ядра свертки и embedding, поэтому без проблем рассчитывает нужное количество весов.

[@coolbrain]

@@AndreySozykin мне в группе по нейронкам ответили, что униклаьных весов все таки 4, просто все числа эмбеддинга каждой буквы домножаются на 1 и тот же свой вес . То есть как у вас на слайде, если бы все веса в матрице ядра в одном столбце были бы одинаковыми. Или все они разные все таки ?

[@hansolo5665]

мне надо анализировать (с целью классификации) тестовые сообщения длиной в среднем 5-30 слов. какую длину окна свертки лучше использовать ?

[@AndreySozykin]

5 слов - это очень мало. 30 должно хватить. Можно попробовать окно свертки 5 или 7.

[@dilp79]

Спасибо

[@AndreySozykin]

Пожалуйста!

[@СашкаБелый-ч6м]

Как происходит определение ядер свёртки в процессе обучения? Ведь они не могут меняться за счёт обратного распространения ошибки. И ещё не понял почему на выходе (на 14:15) мы получили всего 200 карт признаков? Ведь вначале мы из одного набора данных сделали 100 карт (используя 100 ядер к одному набору), а во втором свёртывании у нас уже было 100 наборов и используя 200 ядер мы должны были получить 100*200=20’000 карт с признаками.

[@TheMidjai]

Спасибо за видео! Очень полезное пособие. Такой вопрос: А будет мультилейбловый анализ тональностей?

[@AndreySozykin]

Имеется в виду несколько классов, а не два? Или каждый текст принадлежит нескольким классам?

[@TheMidjai]

@@AndreySozykin про несколько классов с однозначной классификацией упоминалось в прошлом видео в качестве практики (и это не кажется сложным). Но несколько классов с многозначной классификацией вообще никак ещё не затрагивалось, хотелось бы узнать об этом побольше.

[@AndreySozykin]

Да, будет, через несколько видео. Сначала классификация нескольких классов.

[@TheMidjai]

@@AndreySozykin пересматриваю ролики и вижу, что по сути никакие улучшения (свёрточные или рекурентные сети) не улучшают результат (везде ~87), растёт только вычислительная сложность. Мои собственные эксперименты тоже не дали роста. Неужели такими методами на данных IMDb нельзя поднять accuracy выше 90?

[@da_costa-h7t]

@@AndreySozykin Есть вопрос по нескольким классам (практика по прошлому видео) . Оценка 1,2,3,4,5. Я перевел классы в векторы. Функция активации softmax. Функция потери categorical_crossentropy, метрика categorical_accuracy. Но результат не впечатляет. После 10 эпох точность 62%. Больше эпох практически не могу сделать на ПК(долго работает,хоть и на GPU). Я понимаю, что для модели тяжелее определить по тексту 5 классов,нежели 2, Но неужели настолько?

[@boriswithrazor6992]

Спасибо большое за лекцию! Но хотелось бы уточнить один момент. У нас же количество входных нейронов сети задается заранее, то есть длина анализируемого текста ограничена их количеством, правильно понимаю?

[@АзатЗакиров-у8и]

какой смысл снижения размерности? это не ухудшает качество обучения?

[@AndreySozykin]

Нет, это выделяет существенные признаки. Тем самым улучшает качество обучения.

[@ayfrolov]

Огромное вам спасибо, Андрей, за ваши замечательные лекции. Позвольте задать вопрос, видимо я что-то упустил, но так и не понял, как представить данные для обучения сверточной нейронной сети в виде плотных векторных представлений. у меня имеется следующий dataset: ham *какой-то текст* spam *какой-то текст* ham *какой-то текст* ham *какой-то текст* ну и так далее. Как видно ham и spam - это флаг признака, однако как мне превратить сам текст в удобоваримый для нейросети набор векторов ума не приложу.

[@AndreySozykin]

Во видео с примером подготовки текста - kzbin.info/www/bejne/l2K0kKWworJ4eck Можно использовать pandas.

[@sserj01]

13:25 Наверное, не 2 крайних элемента, а 4 последних...

[@AndreySozykin]

Да, два первых и два последних.

[@iAlexTube]

Conv1D Covid-19

[@AndreySozykin]

Да, не хорошая ассоциация.