Почему L1 регуляризация отбирает признаки? Понятное объяснение

[@TheFemenistka]

Спасибо большое! Правда стало понятнее!

[@daniil4944]

Спасибо большое за видео! Практически везде, где читал, эти линии уровня объяснялись не совсем понятно. Лайк поставил, подписался!

[@FirstnameLastname-rm2qi]

спасибо, наконец кто-то понятно объяснил!

[@ДанилДемиденко-г5х]

Спасибо тебе Леша Бухтияров

[@richardrgb6086]

очень классно

[@kirilll.568]

Отличное видео! Но к сожалению я не нашел ответа на вопрос с которым сюда пришел... Хотелось бы пруфов, что в большинстве случаев совместный минимум MSE и L1 лежит в вершине, а не ребре.

[@alexandre2024ds]

Спасибо за видео. У меня возник вопрос такой - если сложить два слагаемых с MSE и регуляризатором то получится какая-то другая функция чем та которая сгруппирована. Почему вы рассматриваете два лосса независимо друг от друга?

[@KonstantinDx]

Рассмотреть два лосса просто оказалось удобно в рамках данной задачи. Для L2 регуляризации можно показать (раскрыть скобки лосса и перегруппировать слагаемые), что линии уровня тоже будут эллипсы и притом с центром на линии между центрами эллипсов MSE и кружков от регуляризации

[@КаналСупермастерА]

Леха красава!

[@dubaichhh]

Спасибо огромное за видео, у меня вопрос. Ведь может так произойти, что точка касания линий уровня лосса с l2 регуляризатором произойдет в нуле для одной из осей. В этом случае тоже признаки занулятся?

[@pinggg98]

Нашел ответ на вопрос?

[@dubaichhh]

увы, пока нет@@pinggg98

[@exactlyUnM]

Видео супер, все очень понятно объяснено, спасибо! Единственная просьба, можно ли небольшое доп. разъяснение почему линии уровня MSE эллипсы?

[@leshanbog]

Спасибо за отзыв :) Допустим веса двумерные. Тогда MSE как функция от весов для фиксированного объекта (x, y), где двумерный вектор x=(x1,x2), будет выглядеть как то так: (w1*x1 + w2*x2 - y)^2. То есть это многочлен второй степени от весов. Если просуммировать по объектам, то он все ещё многочлен второй степени от весов. Линии уровня получаются, когда мы приравниваем это выражение константе. Оно будет задавать уравнение эллипса ru.wikipedia.org/wiki/%D0%9A%D1%80%D0%B8%D0%B2%D0%B0%D1%8F_%D0%B2%D1%82%D0%BE%D1%80%D0%BE%D0%B3%D0%BE_%D0%BF%D0%BE%D1%80%D1%8F%D0%B4%D0%BA%D0%B0#%D0%9A%D0%BB%D0%B0%D1%81%D1%81%D0%B8%D1%84%D0%B8%D0%BA%D0%B0%D1%86%D0%B8%D1%8F_%D0%BA%D1%80%D0%B8%D0%B2%D1%8B%D1%85_%D0%B2%D1%82%D0%BE%D1%80%D0%BE%D0%B3%D0%BE_%D0%BF%D0%BE%D1%80%D1%8F%D0%B4%D0%BA%D0%B0_%D0%BE%D1%82%D0%BD%D0%BE%D1%81%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D0%BE_%D0%B7%D0%BD%D0%B0%D1%87%D0%B5%D0%BD%D0%B8%D0%B9_%D0%B8%D0%BD%D0%B2%D0%B0%D1%80%D0%B8%D0%B0%D0%BD%D1%82%D0%BE%D0%B2

[@kamila5207]

А почему все таки при l2-регуляризация невозможно касание лоссов с занулением признака ? Почему они не могут так коснуться ?

[@pinggg98]

Нашел ответ на вопрос?

[@KonstantinDx]

Теоретически такое возможно, но вероятность этого равна нулю. На практике, учитывая конечность float32 это не столь невероятное событие, но всё ещё маловероятное

[@odu1_chik]

ааа, спасибо тебе, мне криво объяснили, а ты просто все по полочкам разложил!!

[@АндрейХохлов-ц8ж]

Вот так понятно

[@wayer5204]

Капец, эту штуку не мог понять, а ты прям так ровно и последовательно разъяснил, что и вопросов не осталось... Извини за личный вопрос, ты работаешь в DS? Я просто пока учусь на 3м курсе в МГУ, но хочу параллельно трудоустроиться в DS

[@leshanbog]

Спасибо за отзыв :) Да, сейчас работаю в Яндексе над применением языковых моделей

[@wayer5204]

@@leshanbog Круто, посмотрел твое интервью, кстати, очень круто ты за жизнь разъясняешь. Сейчас пока готовлюсь, слышал, войти в ДС сложно, может у тебя есть какая-нибудь стоящая информация по рынку найма в DS на текущие дни? Хочется понять, как трудоустроится как можно скорее(при всех должных знаниях и навыках естественно)

[@grigogiyreznichenko2033]

Это получается для задачи условной оптимизации существует множество решений ?

[@leshanbog]

Нет, добавление регуляризации (что эквивалентно переходу к условной минимизации) как раз позволяет выбрать из бесконечного количества решений одно единственное - с минимальной нормой. Так удобно думать в первом приближении, хотя справедливо не во всех случаях (и без регуляризации решение может быть единственно, и с ней может быть не единственно, ...)

[@grigogiyreznichenko2033]

@@leshanbog тада картинки нарисованы не оч понятно. Я полагаю кстати слово регуляризация подразумевает добавление регулярного члена к случайной функции стоимости. Тем не менее великолепный урок. Спасибо.

[@leshanbog]

@@grigogiyreznichenko2033 В более широком смысле, регуляризацией называют все техники, которые помогают избежать переобучения (например, Dropout или просто добавление данных). Я про это упоминаю в ролике про регуляризацию в линейных моделях. Спасибо за фидбек :)