Лекция 10. Градиентный бустинг. Открытый курс OpenDataScience по машинному обучению mlcourse.ai

For lectures in English, check out this playlist bit.ly/2zY6Xe2
Это видео совпадает с • Лекция 10. Градиентный... только звук улучшен (Denis Cera)
В заключительной лекции курса мы поговорим про бустинг, AdaBoost и вариации, затем про градиентный бустинг - один из наиболее популярных алгоритмов современного машинного обучения. Напишем бустинг своими руками, обсудим трюки, применяемые в Xgboost и Catboost.
О курсе на Хабре goo.gl/XH9RfL
10-ая тема на Хабре goo.gl/tVFZlh
Jupyter notebooks в репозитории курса goo.gl/PfJKx1
Демо-версия задания bit.ly/3yjPolx

[@mwave3388]

Спасибо Юрий за курс!

[@trojanske_hesten]

Спасибо за видео, спасибо за курс! Достаточно простым языком объяснены многие основные темы, даны хорошие практические задания. Спасибо!

[@festline]

Спасибо за комментарий! И.. не стесняйтесь советовать курс друзьям :)

[@igorkomorkin8671]

Спасибо за этот замечательный курс.

[@bronislavkonnikov]

Огромное спасибо за этот замечательный курс 👏

[@salivona]

Спасибо!

[@nikolaysheregeda7856]

thx

[@user-ki6to9gj4p]

где можно взять все материалы(данные, теория), используемое за все 10 лекций?

[@festline]

github.com/Yorko/mlcourse.ai

[@nmobmaster]

А что за темка стоит для подобного отображения графиков matplotlib? Подскажите, пожалуйста, очень понравилось!

[@festline]

вопрос, видимо, про xkcd тему matplotlib.org/xkcd/examples/showcase/xkcd.html

[@user-pc6ce4fs3e]

Здравствуйте! Не подскажете, почему у вас на 4:26 в функции потерь для logitboost стоит двоичный логарифм? Если ничего не путаю, используется натуральный

[@festline]

Добрый день! Это то же самое с точностью до мультипликативной константы, так что не очень принципиально. Мне в таком виде больше нравится, так как значение в нуле равно 1, как у прочих представленных функций потерь.

[@94SERP]

а сейчас вы бы что посоветовали изучать?? XGBoost, LightGBM или CatBoost? Судя по отчетам Яндекса, их бустинг быстрее и точнее на большинстве задач)

[@festline]

я не слежу прям за всеми обновлениями, и лучше всего - вписаться в следующее соревнование на каггле и посмотреть, что люди реально используют. По такой метрике кажется, что гонку выиграл LightGBM

[@jjj78ean]

вот хорошее сравнение бустингов kzbin.info/www/bejne/aIfEZp2Dgqd2Zq8

[@user-fu8yk9pr6k]

Здравствуйте, скажите пожалуйста где можно найти notebook с реализацией градиентного бустинга

[@festline]

добрый день! Сейчас это задание - в списке бонусных, доступно на Patreon или Boosty mlcourse.ai/book/topic10/bonus_assignment10.html

[@user-mx8pn1ky5s]

А до сих пор он остался основным в задачах машинного обучения ?

[@festline]

вот прям так обобщать - опасно. Но в случае, когда признаков не очень много (до нескольких тысяч примерно), и признаки разнородные (колич, катег, бинарные) - то действительно чаще всего на практике возьмутся за бустинг. Я лично скорее всего случайный лес проверю, т.к. он менее чувствителен к гиперпараметрам (не надо тратить время на их настройку), но уже в боевых приложениях предпочтение - бустингу из-за времени и памяти.

[@user-mx8pn1ky5s]

@@festline а бустинг в боевых задачах реализуется либами или каким то другим образом ?

[@festline]

@@user-mx8pn1ky5s чаще это, конечно, lightgm или xgboost, реже - catboost или собственные реализации. В Mail.Ru я работал с боевым бустингом, который в поиске используется