#44. Градиентный бустинг и стохастический градиентный бустинг | Машинное обучение

[@alexanderdushenin7035]

Сергей, здравствуйте Интересно было бы узнать отличия алгоритмов LightGBM, XGBoost и CatBoost. Надеюсь, когда-нибудь увижу подобное видео на Вашем канале)

[@trollface4783]

Сергей, спасибо большое за курс! Хотел уточнить, на 5:08 под квадратом должна стоять разность или сумма ?

[@selfedu_rus]

Спасибо! Там все верно, сумма.

[@ИльяКондаков-п7и]

Добрый вечер! Подскажите, пожалуйста, не совсем понятно как алгоритм b_t "настраивается", относительно ошибок прошлых алгоритмов. Мы передаём в него другую функцию потерь (разница предсказанных значений прошлых алгоритмов минус y_true)?

[@selfedu_rus]

Вес наблюдений, на которых возникают значимые ошибки - больше, и, наоборот, те образы, что хорошо обрабатываются имеют меньшие веса.

[@ИльяКондаков-п7и]

@@selfedu_rus спасибо! Но вы сейчас не описываете часть алгоритма Adaboost? Касательно градиентного бустинга: в схожем видео от мфти говорили, что просто меняется таргет (целевая переменная) на значение антиградиента и уже на этой целевой переменной обучается новый алгоритм. Запутался :с

[@selfedu_rus]

@@ИльяКондаков-п7и Почему же? Там есть нахождение весового коэффициента (4-й пункт). Я о нем. И он влияет на обучение последующих алгоритмов.

[@ИльяКондаков-п7и]

@@selfedu_rus Насколько я понимаю, весовой коэффициент на 4-м пункте - это константа (вектор из одних и тех же значений размера входной выборки), тогда он влияет "в целом" на функцию ошибки, а не по каждому наблюдению. Для учёта каждого наблюдения, насколько понял я, целевая переменная нового алгоритма меняется на антиградиент функции ошибок от прошлой модели (в случае MSE - просто на разницу предикта прошлой модели и истинных значений). Правильны ли мои мысли?

[@ВладимирКалинин-и8т]

1. Если MSE основной оптимизируемый функционал, то почему на практике в задачах классификации всегда используется logloss? Или же мы оптимизируем mse, но просто в логи выводим логлосс? 2. Почему в градиентном бустинге крайне важно использование слабых моделей в составе ансамбля ?

[@selfedu_rus]

1. здесь MSE для нахождения близости модели к антиградиенту, а не поиск параметров модели (обучение самих моделей можно с любой функцией потерь производить) 2. сильные модели и так все хорошо учитывают, если делать их комбинацию, то ничего особо нового не произойдет, и кроме того, они не переобучены, т.е. там усреднять особо нечего

[@ВладимирКалинин-и8т]

@@selfedu_rusспасибо. Но в бустинге базовым алгоритмом выступает дерево, у которого вообще нет функции потерь? Как же тогда имплементируется логлосс?

[@artemtitov8657]

У меня вопрос. А когда мы ищем лучший алгоритм bt - это что имеется в виду? То есть мы перебираем гиперпараметры у дерева? или что? или это имеется в виду какой вид модели лучше подойдет (линейная или деревья) у деревьев всегда фиксированные гиперпараметры по типу глубины?

[@selfedu_rus]

это значит, что мы обучаем дерево (любым алгоритмом и с любыми гиперпараметрами) по текущей обучающей выборке

[@deniswolf1846]

Добрый день, написал Вам в почту)

[@YbisZX]

@selfedu_rus Кстати, в предыдущем видео про AdaBoost получается, что это прямое применение градиентного бустинга к регрессии. Ведь, если функция потерь - MSE, то антиградиент - это остаток до целевых значений. По сути обучаем модель, дающую остаток. Только вопрос тогда: Как тогда при классификации градиент по exp(-M) превращается в весовые коэффициенты для выборки чтобы получился классификатор AdaBoost?