Градиентный Бустинг: самый частый вопрос на собеседовании на дата саентиста

[@GlebMikhaylov]

Мой канал в телеге: t.me/mikhaylovgleb

[@nataliaheine73]

Наконец-то кто-то человеческим языком на пальцах (то есть на коде, а не на мат. функциях) показал, как работает прицнип бустинга! Огромное спасибо!!!

[@eduardtsuranov712]

32:38 "Мы должны спускаться на ДНО и это мы не плохо умеем!" - ГЕНИАЛЬНО! За это отдельное спасибо! :) Ну и видео - класс! Благодарю!!!

[@andreychernov7339]

"Я могу здесь 100 поставить. Сколько хочу. Мой бустинг. Я его сам написал." 🤣 За юмор и понятное донесение материала отдельный респект)

[@Felixalex]

Смотрю видео Глеба не только для заполнения белых пятен, но и для поднятия настроения "мы аппроксимировали полностью - мы просто забили"

[@ГеоргийКузьмин-о4я]

Мощно, очень доходчиво!!! (пришел с "Яндекс.Практикума", чтобы дополнительно разобраться)

[@ЕкатеринаЯсная-б3н]

И я оттуда. Просто рыдала над градиентным бустингом там😩😭😭😭. Какие-то сумасшедшие формулы, пара слов - типа объяснили и в конце: вы освоили градиентный бустинг🤦‍♀️🤯

[@МатвейТимофеев-д1ц]

Поддерживаю коллег, все мы там будем. Теория вышла такой себе даже через год

[@gosyg]

Глеба в тренды!

[@АльбусДамблодр]

Глеб, ты лучший. Реально самое афигенное объяснение бустинга! Спасибо!

[@SavushkinNM]

Глеб, это бомба! Слушаю и кайфую

[@RomanSkrypinGPT]

Ох, храни тебя Кришна, это очень доступное объяснение!

[@zukaroc]

И Голлум просвистел: "Что имеет корни, которые никто не видит, Оно выше деревьев, Поднимается все вверх и вверх, Но в то же время никогда не растет?" - Это легко! - сказал Бильбо. - Я думаю, это градиентный бустинг: у него математические корни, которые никто не видит, он лучше всех решающих деревьев и постоянно повышает метрику качества, двигаясь вниз по направлению вектора градиента функции нескольких переменных в поисках глобального минимума функции потерь в пространстве весов.

[@GlebMikhaylov]

супер!!!

[@tima_net3289]

Взорвался со смеху, спасибо xDDD

[@НиколайВладимирович-к5ф]

Реально Глеб -Учитель года! Спасибо!

[@Yayakimenko]

Предлагаю выдать Глебу премию "Учитель года" 🙂

[@alexkibuk8950]

Ну и объяснения крайне доходчивые. В курсе нетологии Профессия дата саентсит так ужасно рассказывают что аж плакать хочется, хотя стоит >1.5k$ Большое спасибо за то, что ты делаешь!

[@АлександрЯрощук-м1ь]

Глеб преподает в Яндекс Практикуме на дата саентисте)))

[@Апельсиновыедольки-з5п]

Глеб, супер! Не перестаю радоваться, что нашла Ваши курсы и обучаюсь

[@vanyalaptop]

Глеб, спасибо тебе большое!) Очень и очень выручил. У тебя большущий талант объяснять такие, казалось бы, сложные вещи наипростейшим языком)

[@angryworm80]

Человек на человеческом языке объясняет!! 👍🏻 Очень хорошее видео

[@МатвейТимофеев-д1ц]

Раньше смотрел канал математика без ху%ни(это могла быть оплаченная реклама, но нет), теперь подпишусь на тебя. Спасибо за качественную подачу

[@shapovalentine]

Спасибо тебе, добрый человек❤‍🔥 Не пропадай надолго🙏😀

[@youknowwhatlol6628]

май гад...спасибо большое, дружище!!! наконец понял эту тему....очень хорошее видео!!

[@wan_first]

Черт, эт лучшее видео по этой теме в принципе, Глеб - большое спасибо тебе за классный контент! Очень запомнилась фраза веселая - мы сопроксимировали по полной - мы просто забили на это ))))) Еще раз большое спасибо тебе за топовый контент!!

[@leshamas_]

Лучшее видео по градиентному бустингу, что я видел! "Я их сгенерила из того, что было"))

[@oleholeynikov8659]

Материал пушка! Почему с этого не начинают другие преподаватели... спасибо за эксель и схему, я человек простой)))

[@MConstantine]

Браво. Очень доступно, спасибо 🙏

[@ShowMeJoy]

Это лучшее, что я видел за все время существования ютуба.

[@kurmangazykarabekov6902]

Самое лучшее видео про градиентный бустинг. Спасибо!

[@baxai_]

Огонь, просто бомба) Еще бы ссылочки видосов для самых ленивых

[@БейбарсМусагалиев]

как будто посмотрел "идущий к реке" из мира МЛ. Автор прикольный.

[@Qrombo]

Хорошо зашло. Спасибо, Глеб!

[@Ankara_pharao]

На пятнадцатой минуте я не выдержал и подписался. "Ученые какие-то выяснили.."

[@romanrodin5669]

Отличное видео! Глеб, большое спасибо!

[@sergeybelousov8716]

Это было очень круто )

[@АндрейГаврилов-и3в]

Объяснение огонь!

[@dronnet]

Да уж, настолько просто что я даже не поверил то сначала. Кстати, давно заметил что на самом деле математика в МЛ не такая и сложная. В ней главное всё четко понимать, тогда всё прозрачно становится.

[@tayjen59]

Точнее и не скажешь, главное все четко понимать

[@sumailsumailov1572]

Просто обалденно!

[@Химыч]

Огромное спасибо!

[@vadimselin4386]

"Сапроксимировать по полной" - фраза огонь)))

[@nurlannurmash4155]

Лучший просто)

[@AlexxxeyS]

Отлично разложил, доходчиво, просто, задорно! Благодарю. Однажды на собеседовании в одну из крупных страховых компаний мне, как бы для начала, задали вот эту задачу kzbin.info/www/bejne/i5atlGdomdB7gdU на 10 мин. Захотелось поблевать. Задачу не решил. Собес не прошёл, хотя про бустинг расписал канонически математически.

[@ИванИванов-н9т9ъ]

Сначала я подумал, что работодатель просто отморозился от Вас. Но потом я поймал себя на том, что для меня непонятно (и это меня даже смутило), почему Вам захотелось поблевать, когда Вам задали задачу.. Вы так всегда реагируете или так совпало? Что ж, работодателя понять можно.

[@AlexxxeyS]

@@ИванИванов-н9т9ъ это фигурально, никакой физиологии. 😀 Следующая задача была про цветные носки в тёмном шкафу, а затем уже тема видео.

[@АлександрДергилёв-п8х]

Огонь!

[@ДмитрийКоролев-ч8ь]

Глеб, супер! Благодарю! А где-то объясняешь вероятностный подход к линейной и логистической регрессии?

[@GlebMikhaylov]

Да, вот тут вот про логистическую регрессию и вероятности kzbin.info/www/bejne/amrGnGqheN6rqJY

[@LizaSkachkova]

Когда хочешь лайкнуть видео, а лайк уже поставил

[@radionnazmiev546]

Огромное спасибо что без формул)))))))))

[@SergeySkripko]

Глеб, остался вопрос. А как все таки нормально можно было реализовать классификацию? И чем такая реализация ненормальна -- тем что возвращает скоры а не вероятности?

[@GlebMikhaylov]

Там с вероятностями какая-то неприятная математика начинается, вот тут можно посмотреть. blog.paperspace.com/gradient-boosting-for-classification/ Но в целом я думаю можно взять и аутпут регрессии просто прогнать через сигмоиду и получится скор в диапазоне от 0 до 1, но вероятностью это не будет.

[@РамильДаянов-э4ц]

А норм то что среднее это константное предсказание именно для mse, а в цикле другую уже используете?

[@gavrilovAndrey]

Очень полезное видео.

[@alsetlaram7233]

11:13 а зачем вы дали на таргет residual? почему не у_true

[@zenqezenqe9714]

Про бустинг ты знаешь, а вот про логистическую регрессию? ;)

[@YaroslavPoltaran]

Ждём теперь про лог рег :)

[@Диванныйстратег]

Так вроде логистическая регрессия полегче кажется чем градбуст или хгбусты)))

[@SavushkinNM]

Глеб, привет! Думал, где задать вопрос, не нашел подходящего видео и решил написать здесь. Хочу спросить по поводу стратификации при провдении АВ-тестов или стат-тестов: Вот мы разбили на какие-то группы наших пользователей (условно, Гугл - Эпл) и делаем сэмплы для снижения дисперсии. Ок, дисперсия действительно может существенно сократиться, но это во многом зависит от размеров сэмплов: если мы будем брать сэмплы большие, то дисперсия, логично, будет меньше. Не понятно какого размера сэмплы мы должны использовать на практике. Аналогичная ситуация возникает при проведении статистических тестов (с чем я столкнулся на работе), когда распределение очень плохое и его можно оценивать либо Манна-Уитни, либо бутстрапом. Так вот не понятно какого размера сэмплы использовать в таком случае при бутстрапе..

[@GlebMikhaylov]

@SavushkinNM 1.. Стратификация это когда мы хотим, чтобы сэмплы по своей структуре были максимально похожи на совокупность. Если в генеральной совокупности Гугл/Эпл == 90/10, то мы хотим чтобы эта же пропорция сохранилась в сэмпле. Сэмпл можно взять случайно, и тогда есть вероятность что пропорция не сохраниться. А можно взять стратифицированный сэмпл, и тогда пропорция 100% сохраниться. 2.. Я вот не люблю оперировать дисперсией. Для меня она не удобна. Это конечно математично и научно, но не практично. Ты говоришь: “дисперсия действительно может существенно сократиться”, лучше сказать, что ошибка по отношению к совокупности уменьшается. Или просто, что семплы такие же, как совокупность. Т.е. стратификацией мы страхуемся от ошибки сэмплирования. 3.. При больших сэмплах начинает работать закон больших чисел и стратификация происходит автоматически. Но все равно всегда лучше глазами посмотреть, что получилось. 4.. На практике лучше всего использовать максимально большие сэмплы, тогда нам вообще не будет нужна ни стратификация, ни статистика вообще. Но в реальном мире большие сэмплы либо невозможны, либо очень дороги, поэтому мы при помощи статистики находим минимально необходимые сэмплы для той или иной задачи. Например, мы хотим проверить разницу в конверсии для двух групп. Для того чтобы определить необходимый размер сэмплов, нам нужно понимать 1) какая у нас базовая конверсия 2) какой минимальный прирост конверсии мы хотим обнаружить 3) с какими погрешностями -- альфа и бета (ошибки первого и второго рода). Идем в калькулятор www.evanmiller.org/ab-testing/sample-size.html , вводим данные и получаем размер для каждой из групп. Калькулятор посчитает минимально необходимый размер сэмплов для этого эксперимента. И дальше, когда мы будем формировать эти группы из наших клиентов, то нам надо задуматься о стратификации: надо чтобы группы были похожи на друг на друга, и так же на всю совокупность клиентов. Стратификация позволит быть более уверенным в том, что при составлении групп не произошло ошибки сэмплирования и группы перекошенные. 5. Размеры сэмплов можно считать не только в онлайн калькуляторе, но и в питоне. Вот например у меня есть пример colab.research.google.com/drive/10DkHtLXsRHYSB7f5LMV5h5WW__uTcNHE . Для каждого теста размер групп тоже будет разный. Для ти теста один, для Манн Витни другой, для бутстрапа третий.Для бутстрепа например можно подбирать размер сэмплов тем же бустрепом: увеличивать размеры сэмплов пока не получим заданную мощность (1-бета). Для Ман Витни тоже можно посчитать размеры сэмплов -- надо гуглить. 6. Но важно понимать, что для статистических тестов стратификация это вопрос независимый от расчета размеров сэмплов. Т.е. ты сначала считаешь какие сэмплы тебе нужны, а потом думаешь как их стратифицировать (и можно ли). Но чем больше получаются сэмплы, тем более они стратифицированы сами по себе.

[@ГульданикаОсмонова]

@@GlebMikhaylov а вы берете в личное менторство¿

[@GlebMikhaylov]

@@ГульданикаОсмонова нет, личного менторства у меня нет. Есть только курсы

[@Lexx505FiL505Felix]

00:30 - работавзятели. Так на мой взгляд точнее будет.

[@lil4sxvl440]

спасибо!

[@s..n..z]

А на 27:24 мы разве не по тесту должны предиктить?

[@GlebMikhaylov]

я там комментирую, что для данной демонстрации это не важно

[@НиколайМазнюк]

@@GlebMikhaylov вопрос: 26:24 при разбиение на трейн\тест, как правильно инициализировать test['y_pred'] для тестовой выборки? допустим, в трейн выборке первое значение train['y_pred'] равно 1, правильно ли я думаю, что мы можем использовать это же значение для инициализации test['y_pred']?

[@felixmusic3645]

Ах вот оно чë!

[@petyap7600]

Ха-ха