Машинное обучение 7. Gradient boosting

[@TheFemenistka]

Очень крутая, понятнвя лекция! Спасибо!

[@bolshoy_brat9093]

Крутой препод

[@МихаилКим-р3ы]

Отличная лекция, спасибо!

[@МихайловАртем-н8у]

Спасибо! Очень помогли разобаться

[@denistjupin9208]

Очень крутой

[@8eck]

5:50 очень похоже на backpropagation с loss функцией, чтобы в итоге уменьшить loss и выдавать лучше prediction. Похожий принцип.

[@averkij]

Спасибо!

[@8eck]

46:59 - то есть с помощью множества линейно решенных проблем, мы таким образом выводим границы и можем выделить определенные данные, сложив результаты всех линейно решенных проблем.

[@8eck]

38:36 - то есть это случай low bias + high variance?

[@mlpython1089]

3:30 если делать оценку OOB на переобученных деревьях, то качество должно быть хуже чем у модели среднего.

[@Splish_Splash]

Лосс на трейне будет больше, но качество предсказания ансамбля в целом будет лучше, так как OOB позволяет не делить выборку на train и validation, значит трейновая выборка будет больше

[@mlpython1089]

@@Splish_Splash По размеру выборки понятно. Но в ансамбле - деревья, глубокие, с низким смещением (т.е. перобученные) а значит на невиданных данных (ООВ) должны давать бредовый результат. В моём самопальном случайном лесе так и происходит. Видимо делаю что то не так. Возможно деревья не нужно переобучать в композиции.

[@Splish_Splash]

@@mlpython1089 а как вы тогда без OOB считаете метрику? учитесь на трейне и считаете метрику на трейне? ну тогда и метрика будет лучше конечно, ибо некоторые деревья уже видели эти данные. А если делить данные на train и validate, то метрика не сильно должна отличаться от OOB

[@ptreeful]

Я не очень поняла, по какой функции мы дифференцируем L. Понятно, что в точке xi, которая есть значение выборки, но что за f(xi)? это значение суммы всех предыдущих значений функций в этой точке?

[@ПавелШтыков-х9т]

Мы дифференцируем L по f, а потом в частную производную dL/df (которая зависит от x_i) подставляем конкретное x_i. Получаем значение градиента функции потерь на данной точке выборки

[@mlpython1089]

Как бы GBM на питоне закодировать, с нуля? Видел кто пример?

[@АлександрВальвачев-я6ъ]

нэа

[@ghettoar2529]

А что значит обозначение E полужирная?

[@PrO11213]

Наверное, вы про математическое ожидание говорите...

[@ghettoar2529]

@@PrO11213 уже понял, спасибо) до мат статистики ещё не дошёл

[@hopelesssuprem1867]

Полная шляпа для нубов. Лучше бы рассказал как строится мулькласс бустинг на основе softmax и гамма коэффициентов для каждого листа в дереве

[@vladislavstankov1796]

Лектор настолько хорош, что стал слаб к мужчинам