Лекция 6. Глубокое обучение (DeepLearning). Регуляризация (Анализ данных на Python. Ч2)

compscicenter.ru/
Пример: распознавание рукописных цифр, 2-е решение. Augmentaiton. VGG-16 архитектура нейронной сети. Регуляризация, ее назначение. Регуляризация в линейном регрессионном анализе. Нормальные уравнения линейного регрессионного анализа. Добавление регуляризационного слагаемого в нормальные уравнения. Особая роль свободного члена. Пример: аппроксимация точек многочленом. Выборка валидации. Варианты регуляризационного слагаемого (ridge regression, lasso, elastic net). Почему Lasso позволяет сократить число предикторов.
Лекция №6 в курсе "Анализ данных на Python в примерах и задачах. Часть 2" (осень 2018).
Преподаватель курса: Вадим Леонардович Аббакумов
Страница лекции на сайте CS центра: bit.ly/2PUbVlD
Все видео курса: bit.ly/2NEwnWR

[@MinisterDorado]

56:30 Огромное спасибо за понятно объяснение Lasso регуляризации!

[@АнтонФонин-ц3ц]

УРААААА!!!!!

[@coachintegrator]

По поводу соотношения количества нейронов к слоям и его влияния на качество обучения Если предположить, что логика обучения нейронных сетей идентична биологическим процессам, а производная система наследует паттерны производящей, то алгоритм формирования сущности (в нашем случае слой с нейронами) можно сравнить с каким-нибудь биологическим алгоритмом. Например деление клетки, в котороем есть четкое количество элементов, связей между ними и происходящих процессов. Второй принцип, который интуитивно можно применять в концептуализаторстве распределении количества и слоев, и нейронов в них - это принцип самоподобия. Мне пока сложно предложить что-то конкретное, но полагаю, что ключ к разгадке лежит в L-системах.

[@aeees8]

Пробую код из лекции, с Adadelta медленно растет accuracy по эпохам. С adam норм, результаты хорошие как в лекции

[@hcoderhy768]

Пример с виагрой: 45:40

[@Gleb_Pastushenko]

В самом начале график не понял. Почему при нулевой сложности модели качество ее высокое и с ростом сложности убывает? И почему на тестовой парабола получилась? При переобучении качество предсказаний должно стремиться к ассимптоте в 100% на обучающей и снижаться на тестовой.

[@Vadim_Abbakumov]

На оси ординат значение критерия качества Q. Когда Q=0 имеем безошибочную модель. График уже обсуждался ранее в курсе.

[@eizoone1276]

Прошу прощения, но мне кажется неправилбно объяснили ридж и лассо регуляризацию. L1 регрессия зануляет веса потому что модуль сам по себе зануляет низкие показатели и ромб как раз поэтому получается. Я конечно понимаю что тема тяжёлая, но для аудитории вторая половина совершенно неправильно показана. Поправьте меня если я неправ.

[@Vadim_Abbakumov]

Возможны разные способы объяснения. Я свожу обоснование к теореме Лагранжа и не вижу у себя логических натяжек. IMHO то, что Вы знакомы с другим обоснованием не влечет, что у меня неверно?

[@victoriasemenenkoseo8143]

А где найти опытного специалиста по работе с deepfake сетями с целью обработки медиаконтента?

[@shandi1241]

kzbin.info/www/bejne/i4WleZmZi9yDqqs ридж и лассо

[@dmitry-9926]

1:18 чел активирует MATLAB, это вообще адекватно? ? ? ? ? ? ?

[@Cyrill_Murashev]

Понятно, что речь шла о matplotlib, зачем придираться к оговоркам?

[@hcoderhy768]

зачем придираться к словам? каждый может допустить ошибку, тем более, такому преподавателю это простительно