Лекция 10. Градиентный бустинг. Открытый курс OpenDataScience по машинному обучению mlcourse.ai

[@trojanske_hesten]

Спасибо за видео, спасибо за курс! Достаточно простым языком объяснены многие основные темы, даны хорошие практические задания. Спасибо!

[@festline]

Спасибо за комментарий! И.. не стесняйтесь советовать курс друзьям :)

[@igorkomorkin8671]

Спасибо за этот замечательный курс.

[@mwave3388]

Спасибо Юрий за курс!

[@bronislavkonnikov]

Огромное спасибо за этот замечательный курс 👏

[@salivona]

Спасибо!

[@НикитаБояркин-р1з]

Здравствуйте! Не подскажете, почему у вас на 4:26 в функции потерь для logitboost стоит двоичный логарифм? Если ничего не путаю, используется натуральный

[@festline]

Добрый день! Это то же самое с точностью до мультипликативной константы, так что не очень принципиально. Мне в таком виде больше нравится, так как значение в нуле равно 1, как у прочих представленных функций потерь.

[@94SERP]

а сейчас вы бы что посоветовали изучать?? XGBoost, LightGBM или CatBoost? Судя по отчетам Яндекса, их бустинг быстрее и точнее на большинстве задач)

[@festline]

я не слежу прям за всеми обновлениями, и лучше всего - вписаться в следующее соревнование на каггле и посмотреть, что люди реально используют. По такой метрике кажется, что гонку выиграл LightGBM

[@jjj78ean]

вот хорошее сравнение бустингов kzbin.info/www/bejne/aIfEZp2Dgqd2Zq8

[@nmobmaster]

А что за темка стоит для подобного отображения графиков matplotlib? Подскажите, пожалуйста, очень понравилось!

[@festline]

вопрос, видимо, про xkcd тему matplotlib.org/xkcd/examples/showcase/xkcd.html

[@ИльяАлексеев-т3т]

где можно взять все материалы(данные, теория), используемое за все 10 лекций?

[@festline]

github.com/Yorko/mlcourse.ai

[@данилурод]

Здравствуйте, скажите пожалуйста где можно найти notebook с реализацией градиентного бустинга

[@festline]

добрый день! Сейчас это задание - в списке бонусных, доступно на Patreon или Boosty mlcourse.ai/book/topic10/bonus_assignment10.html

[@nikolaysheregeda7856]

thx

[@СтепанЦыбин-ю9д]

А до сих пор он остался основным в задачах машинного обучения ?

[@festline]

вот прям так обобщать - опасно. Но в случае, когда признаков не очень много (до нескольких тысяч примерно), и признаки разнородные (колич, катег, бинарные) - то действительно чаще всего на практике возьмутся за бустинг. Я лично скорее всего случайный лес проверю, т.к. он менее чувствителен к гиперпараметрам (не надо тратить время на их настройку), но уже в боевых приложениях предпочтение - бустингу из-за времени и памяти.

[@СтепанЦыбин-ю9д]

@@festline а бустинг в боевых задачах реализуется либами или каким то другим образом ?

[@festline]

@@СтепанЦыбин-ю9д чаще это, конечно, lightgm или xgboost, реже - catboost или собственные реализации. В Mail.Ru я работал с боевым бустингом, который в поиске используется