Лекция 12. Boosting. Gradient boosting machine. Ключевые параметры модели

compscicenter.ru/
Boosting. Gradient boosting machine. Ключевые параметры модели.
Лекция №12 в курсе "Анализ данных на Python в примерах и задачах. Часть 1" (весна 2018).
Преподаватель курса: Вадим Леонардович Аббакумов

[@ukrosaur6910]

Я поражен. Видел десятки объяснений метода максимального правдоподобия. Но это самое понятное. Вы мой проводник по миру машинного обучения. Огромное вам спасибо, Вадим Леонардович!

[@icanfast]

Спасибо за объяснение философии метода максимального правдоподобия, после нескольких лет я наконец понял откуда он берется 😤

[@yummiem1811]

супер!!!!

[@zhandosa77777]

00:31:05 Метод максимального праводоподобия

[@sabbraxcaddabra]

Здравствуйте! Не до конца понял как разница между фактическим значением отклика и предсказанным может быть любым числом в каком то промежутке, в задаче классификации. Ведь если на выходе f1 для какого то наблюдения получаем 1, а на деле там 0, то разве разница не 1(по модулю)? Или это работает только в случае бинарной классификации.

[@Vadim_Abbakumov]

Происходит модификация задачи. Вместо распознавания кода класса распознается вероятность принадлежать классу. И на выходе может получаться любое число между 0 и 1

[@sabbraxcaddabra]

@@Vadim_Abbakumov Понял, спасибо Вам!

[@user-qd9ur2vp7x]

Вадим Леонардович, не могли бы вы объяснить, в чем смысл выборки валидации и чего мы хотим достичь с её помощью?

[@Vadim_Abbakumov]

Подобрать внешние параметры (гиперпараметры). Подбирать на тестовом множестве неправильно.

[@user-zt9uw2fn6r]

Существуют ли какие-то общие принципы оценки репрезентативности выборки? Как прикинуть ее сбалансированность и как это прикидка будет зависеть от объема данных? Или это все экспертные оценки аналитика и общего подхода в таких вещах нет?

[@Vadim_Abbakumov]

Все есть, есть тесты, есть книги Гуглите что-то вроде Checking the Representativeness of a Sample

[@dronorange8595]

@Вадим Аббакумов, а где вы преподаете?

[@Vadim_Abbakumov]

Computer Science Center. Но основное место работы Газпром-нефть. В этом году еще читаю курс в ИТМО

[@dronorange8595]

@@Vadim_Abbakumov спасибо за ответ! Очень хорошие лекции, лучшее что я видел в интернете. Если я не ошибаюсь, csc это проект ШАДа? Большой привет с Екатеринбургского матмеха, приезжайте к нам на змш)

[@Vadim_Abbakumov]

@@dronorange8595 Спасибо. За высокую оценку курса особенное спасибо. В CSC одно из отделений это Петербургский филиал ШАД, мой курс читается там. Уже год преподавание везде только из дому, все с записью курсов. Консультации по скайпу. Даже начал привыкать, думал никогда не смогу... Екатеринбургскому матмеху привет от Санкт-Петербургского матмеха. Несколько коллег ваши выпускники, классные ребята.

[@MinisterDorado]

Жаль, что notebook с этой лекцией нет на сайте.

[@igorigor8128]

Немного неясно в части GBN. Получили мы f1, f2, ...fn. А итоговый предсказанный Y - это сума результатов по всем f ? То есть, итоговый предсказанный Y = f1(x) + f2(x)+...+fn(x) ?

[@Vadim_Abbakumov]

Так в XGBoost'e, а в GBM каждое дерево еще умножается на свое ро (см формулу 3), а затем еще на некоторую общую для всех деревьев лямбду. Только потом складываем.

[@igorigor8128]

@@Vadim_Abbakumov Большое спасибо за ответ.

[@user-nw9dx4fj9s]

жаль что в прикрепленных файлах нет ноубука, там только 3 пдф статьи, было бы здорово создать репозиторий курса на гитхаб

[@Vadim_Abbakumov]

Репозиторий скоро будет, в рамках новой версии курса, который сейчас записывается в ИТМО

[@quantumwalk2069]

@@Vadim_Abbakumov Здравствуйте Вадим Леонардович, Большое спасибо Вам за Ваши материалы. На 1:02:48 вы начинаете рассказывать о пользе того, что ответ может быть не знаю. Т.е. Вы получаете 3 класса - 1, 0, не знаю. Но в каких случаях это необходимо? Ведь классификатор всегда создаётся под конкретную задачу с новыми данными. Какой смысл в том, чтобы получить для новых данных ответ “не знаю”? Рассмотрим на примере конкретного кейса. В течении месяца во все отделения некоего банка поступило 2000 заявок на оформление кредита. Надо достаточно точно сказать, кому кредит может быть оформлен, а кому нет. Какой смысл в том, чтобы аналитик сказал: Вот этим 20% мы кредит оформить можем, вот этим 20% ни в коем случае. А вот про эти 60% (между прочим 1200 заявок) я сказать вообще ничего не могу. Если банк не хочет рисковать, то ведь можно просто поднять threshold и просто сказать, что кредит одобряем только тем, у кого МИНИМУМ 0.8 надёжности (это значение может вариироваться. И какой смысл в создании класса “не знаю”?

[@ilyin_sergey]

@@Vadim_Abbakumov если курс записан, можете дать ссылку на репозиторий?

[@quantumwalk2069]

Здравствуйте Вадим Леонардович, Большое спасибо Вам за Ваши материалы. На 1:02:48 вы начинаете рассказывать о пользе того, что ответ может быть не знаю. Т.е. Вы получаете 3 класса - 1, 0, не знаю. Но в каких случаях это необходимо? Ведь классификатор всегда создаётся под конкретную задачу с новыми данными. Какой смысл в том, чтобы получить для новых данных ответ “не знаю”? Рассмотрим на примере конкретного кейса. В течении месяца во все отделения некоего банка поступило 2000 заявок на оформление кредита. Надо достаточно точно сказать, кому кредит может быть оформлен, а кому нет. Какой смысл в том, чтобы аналитик сказал: Вот этим 20% мы кредит оформить можем, вот этим 20% ни в коем случае. А вот про эти 60% (между прочим 1200 заявок) я сказать вообще ничего не могу. Если банк не хочет рисковать, то ведь можно просто поднять threshold и просто сказать, что кредит одобряем только тем, у кого МИНИМУМ 0.8 надёжности (это значение может вариироваться. И какой смысл в классе “не знаю”?

[@Vadim_Abbakumov]

В некоторых задачах смысла нет. А в некоторых есть. А аналитик думает и решает, нужно ли в его задаче использовать класс "не знаю". Например, если он формирует целевую аудиторию рекламной кампании, то класс "не знаю" сэкономит деньги его заказчику. Да и в банке в Вашем примере непонятные заявки можно передать на рассмотрение эксперту, кредитному менеджеру. Если таких заявок не 1200, а 60, это ему посильно. Кроме того, если в 60% случаев модель не знает, то ее стоит доработать. Ведь не знаю означает, что для таких заемщиков слишком велик процент ошибок. Кроме того, threshold должен определять не аналитик, а кредитный комитет.

[@quantumwalk2069]

@@Vadim_Abbakumov Большое спасибо за развёрнутый ответ!