Почему L1 регуляризация отбирает признаки? Понятное объяснение

[@user-os4os9lv1u]

Спасибо тебе Леша Бухтияров

[@daniil4944]

Спасибо большое за видео! Практически везде, где читал, эти линии уровня объяснялись не совсем понятно. Лайк поставил, подписался!

[@user-jd6uz5si2f]

Леха красава!

[@richardrgb6086]

очень классно

[@kirilll.568]

Отличное видео! Но к сожалению я не нашел ответа на вопрос с которым сюда пришел... Хотелось бы пруфов, что в большинстве случаев совместный минимум MSE и L1 лежит в вершине, а не ребре.

[@odu1_chik]

ааа, спасибо тебе, мне криво объяснили, а ты просто все по полочкам разложил!!

[@user-kw1ye8so9n]

Вот так понятно

[@exactlyUnM]

Видео супер, все очень понятно объяснено, спасибо! Единственная просьба, можно ли небольшое доп. разъяснение почему линии уровня MSE эллипсы?

[@leshanbog]

Спасибо за отзыв :) Допустим веса двумерные. Тогда MSE как функция от весов для фиксированного объекта (x, y), где двумерный вектор x=(x1,x2), будет выглядеть как то так: (w1*x1 + w2*x2 - y)^2. То есть это многочлен второй степени от весов. Если просуммировать по объектам, то он все ещё многочлен второй степени от весов. Линии уровня получаются, когда мы приравниваем это выражение константе. Оно будет задавать уравнение эллипса ru.wikipedia.org/wiki/%D0%9A%D1%80%D0%B8%D0%B2%D0%B0%D1%8F_%D0%B2%D1%82%D0%BE%D1%80%D0%BE%D0%B3%D0%BE_%D0%BF%D0%BE%D1%80%D1%8F%D0%B4%D0%BA%D0%B0#%D0%9A%D0%BB%D0%B0%D1%81%D1%81%D0%B8%D1%84%D0%B8%D0%BA%D0%B0%D1%86%D0%B8%D1%8F_%D0%BA%D1%80%D0%B8%D0%B2%D1%8B%D1%85_%D0%B2%D1%82%D0%BE%D1%80%D0%BE%D0%B3%D0%BE_%D0%BF%D0%BE%D1%80%D1%8F%D0%B4%D0%BA%D0%B0_%D0%BE%D1%82%D0%BD%D0%BE%D1%81%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D0%BE_%D0%B7%D0%BD%D0%B0%D1%87%D0%B5%D0%BD%D0%B8%D0%B9_%D0%B8%D0%BD%D0%B2%D0%B0%D1%80%D0%B8%D0%B0%D0%BD%D1%82%D0%BE%D0%B2

[@wayer5204]

Капец, эту штуку не мог понять, а ты прям так ровно и последовательно разъяснил, что и вопросов не осталось... Извини за личный вопрос, ты работаешь в DS? Я просто пока учусь на 3м курсе в МГУ, но хочу параллельно трудоустроиться в DS

[@leshanbog]

Спасибо за отзыв :) Да, сейчас работаю в Яндексе над применением языковых моделей

[@wayer5204]

@@leshanbog Круто, посмотрел твое интервью, кстати, очень круто ты за жизнь разъясняешь. Сейчас пока готовлюсь, слышал, войти в ДС сложно, может у тебя есть какая-нибудь стоящая информация по рынку найма в DS на текущие дни? Хочется понять, как трудоустроится как можно скорее(при всех должных знаниях и навыках естественно)

[@dubaichhh]

Спасибо огромное за видео, у меня вопрос. Ведь может так произойти, что точка касания линий уровня лосса с l2 регуляризатором произойдет в нуле для одной из осей. В этом случае тоже признаки занулятся?

[@pinggg98]

Нашел ответ на вопрос?

[@dubaichhh]

увы, пока нет@@pinggg98

[@kamila5207]

А почему все таки при l2-регуляризация невозможно касание лоссов с занулением признака ? Почему они не могут так коснуться ?

[@pinggg98]

Нашел ответ на вопрос?

[@grigogiyreznichenko2033]

Это получается для задачи условной оптимизации существует множество решений ?

[@leshanbog]

Нет, добавление регуляризации (что эквивалентно переходу к условной минимизации) как раз позволяет выбрать из бесконечного количества решений одно единственное - с минимальной нормой. Так удобно думать в первом приближении, хотя справедливо не во всех случаях (и без регуляризации решение может быть единственно, и с ней может быть не единственно, ...)

[@grigogiyreznichenko2033]

@@leshanbog тада картинки нарисованы не оч понятно. Я полагаю кстати слово регуляризация подразумевает добавление регулярного члена к случайной функции стоимости. Тем не менее великолепный урок. Спасибо.

[@leshanbog]

@@grigogiyreznichenko2033 В более широком смысле, регуляризацией называют все техники, которые помогают избежать переобучения (например, Dropout или просто добавление данных). Я про это упоминаю в ролике про регуляризацию в линейных моделях. Спасибо за фидбек :)