Классификация текстов нейросетями | Нейросети для анализа текстов

[@CassandraBirge]

Спасибо большое!. Спасибо за отличный канал и видеоуроки).

[@CassandraBirge]

а разве при переобучении можно доверять результатам сети?

[@ВикторЛавлинскикх]

Спасибо! Отличный видеоурок

[@AndreySozykin]

Пожалуйста!

[@web_kub]

Ты лучший! Слушать приятно. Все четко по полочам. Ты большой молодец! Спасибо!

[@AndreySozykin]

Пожалуйста! Рад, что понравилось!

[@vigilit-video1765]

Отличное видео! Кратко и по делу! Спасибо!

[@AndreySozykin]

Пожалуйста!

[@Alexcei64rus]

Спасибо за уроки! С заголовками результат получше (CNN 0.9083). Нужно не забыть также заголовки в test_sequences добавить

[@AndreySozykin]

Отлично!

[@viktorpavlov4499]

Спасибо большое!

[@AndreySozykin]

Пожалуйста!

[@vladtamolov2292]

Спасибо за лекцию

[@AndreySozykin]

Пожалуйста!

[@СолодушкинСвятослав]

Спасибо. Ждем продолжения!

[@xavivore9628]

Спасибо за видео!! Очень познавательно. Давайте Вы в следующем видео сделайте нейросеть, которая изобретёт вакцину от вируса)

[@AndreySozykin]

Тема интересная. Вирус, как и любая ДНК - это строки, которые можно воспринимать, как текст. Однако я вряд ли смогу придумать вакцину, т.к. не специалист в этом деле.

[@AlexanderRodionov95]

Бил Гейтс уже изобрел вакцину - не переживайте ))

[@Alexander-iz7kk]

Добрый день, подскажите, как использовать сохраненную обученную нейросеть, чтобы проставить категории по новым новостям, которые не имеют правильных ответов? Собственно цель и присвоить неизвестной новости нужную категорию. Как получить этот результат?

[@travmopedia5918]

Спасибо!

[@ИванГригорьев-в6з]

Тоесть нужно где то раздобыть словарь {слово: число} включающий в себя все слова в языке? Есть ли способы динамически наращивать словарь без полного переобучения сети?

[@ВладимирГрищенко-в2г]

А почему мы предварительно не привели новостные тексты к формату, исключающему запятые, знаки препинания и прочие небуквенные символы?

[@AndreySozykin]

Это курс по нейронным сетям, я пытаюсь объяснить, как работают нейронки разных видов. Конечно, если сделать пред.обработку текста, то качество работу повысится. Но это уже длительное отвлечение от темы нейронок. Сейчас делаю новый курс по обработке естественного языка, там будет эта тема.

[@consoleplayer301]

У тебя со второй итерации у каждой нейросети переобучение начинается и они деградируют, это не норма, модели плохие.

[@ЕкатеринаМаянцева]

Здравствуйте, подскажите, а можно как нибудь "заморозить" сверточные слои нейросети и обучить "хвост" сети на другой базе данных для распознавания речи? Или может быть есть модели типа VGG16 или VGG19, но для распознавания речи?

[@auffff779]

Привет, вопрос такой. Почему на графиках валидация на тестовом сете (оранжевая прямая) лучше, чем на тренировочном (синий цвет)? На 13:18 или на 15:05, например, это видно

[@AndreySozykin]

Это на первой эпохе, так часто бывает.

[@auffff779]

@@AndreySozykin мне кажется, это из-за того, что у вас датасет не зашаффлен, и в тесте данные не также распределены, как в тренировочном сете. Или это можно как-то иначе объяснить?

[@ТимурГильманов-ь4в]

Подскажите, пожалуйста, что именно нужно изменить в коде, чтобы сеть проанализировала мой набор данных(новостей), в которой только новость, без заранее известных классов.

[@atlant1707]

А есть видео о применении модели. Т.е мы создали модель и как ее применять

[@AndreySozykin]

Можно взять примеры из предыдущих видео, например - kzbin.info/www/bejne/hIGtYp58YptmjKs. Применение сети начиная с 10 минуты.

[@АндрейЛаврентьев-м4ж]

@@AndreySozykin получается array в котором столько элементов с разными значениями, сколько у нас классов. Возникает вопрос, как теперь понять, к какому классу относится новость?

[@jekabachax5552]

@@АндрейЛаврентьев-м4ж с помощью numpy. сделай np.agrMax(array)

[@АлександрМанёнок]

а разве при переобучении можно доверять результатам сети?

[@РоманБ-и7ц]

Андрей. Спасибо большое за ваши уроки, очень понятно объясняете. Решил тоже попробовать обучить сеть на своих данных, но при методе tokenizer.fit_on_texts(news) выдает ошибку, которую никак не могу победить - AttributeError: 'float' object has no attribute 'lower' может вы сталкивались с таким и знаете решение? Заранее спасибо!

[@MsCornil]

tokenizer.fit_on_texts(news.astype(str))

[@user-xl2tf4gq1g]

Добрый день! У кого-нибудь есть ссылка на ноутбук с сетью CNN, которая распознает сразу несколько объектов на одном изображении?

[@nicko6815]

Здравия! А для новостей на русском языке код надо менять? Благодарю!

[@AndreySozykin]

Код обучения нейросети не нужно. Изменится код подготовки данных для обучения.

[@nicko6815]

@@AndreySozykin Спасибо!

[@paramoncanal5126]

@@AndreySozykin А как его изменить? Есть набор данных на русском, хотелось бы попробовать на нём обучить P.S. Спасибо за интересный видеокурс!

[@whereispie]

Воу

[@prosto_odinochestvo]

не интересно. весь интернет усеян подобными уроками и все работают с англоязычными данными. если вы пытаетесь нести информацию для русскоязычных, то и будьте добры это делать на русских данных.

[@АлександрМанёнок]

а в чем беда? это же урок, основанный на уже собранных данных. Вы сами соберите нужное количество данных для обучения на русском, тут уже не важно какой язык использовать по сути, все равно все слова в цифры преобразуются, и уже их сеть запоминает.

[@ArtHiteca]

Спасибо за отличный канал и видеоуроки)

[@AndreySozykin]

Пожалуйста!