Лекция 9. Прогнозирование на основе регрессионной модели

compscicenter.ru/
Прогнозирование на основе регрессионной модели с сезонными индикаторными (фиктивными, структурными) переменными. Тренд, сезонные составляющие, смена характера ряда, выбросы. Логарифмирование - прием для преобразования мультипликативной сезонности в аддитивную. Индикаторные переменные. Переобучение.
Случай нескольких сезонных составляющих.
Лекция №9 в курсе "Анализ данных на Python в примерах и задачах. Часть 1" (весна 2018).
Преподаватель курса: Вадим Леонардович Аббакумов

[@user-eh6rq5zr2b]

Просто удивительно , почему так мало лайков. Спасибо 💚 Идеальная подача сложного материала

[@user-fw2zy3vx5t]

Ужасно говорит и объясняет!

[@mansurs7748]

Добрый день! Все лекции очень прекрасные и объяснены простыми словами!!! У меня вопрос, как определить колленеарность данных???

[@Vadim_Abbakumov]

Гуглите tolerance или Variance Inflation Factor (VIF). Это одно и тоже.

[@ProgrammerForever]

Мог ли быть такой вариант с решением проблемы сезонности: сезонность оставляем без изменений, но убираем свободный член в модели? Коллинеарность будет устранена, но за "ноль" нужно считать значение первой строки с данными, и учесть это потом в результате, прибавляя значение Y первой строки к каждому спрогнозируему результату.

[@Vadim_Abbakumov]

Убирая свободный член мы резко меняем математическую модель. Привычные интерпретации перестают работать, нужно изучать регрессионный анализ чуть ли не заново. Проще перейти от абсолютных значений сезонных поправок к относительным

[@TRIUMF89]

Вопрос когда сказали что убираем один из столбцом МАРТ из данных я понял, но куда его прибавляем? Прям в таблице куда?

[@Vadim_Abbakumov]

Не понял вопрос. Если Вы о базовом месяце, то в лекции это январь. Если о чем-то ином, то о чем?

[@ProgrammerForever]

Поправка (за март) будет включена в свободный член модели, и одновременно с этим исключена из всех сезонных поправок. Таким образом март выбирается для того, чтобы эта поправка была околонулевой, потому что она повлияет на абсолютные значения свободного члена и остальных поправок. Если не нужен "смысл" полученных коэффициентов, можно взять любой месяц в качестве базового.

[@Dmitrykholodov]

Всем добрый день! Уважаемые Вадим Леонидович, слушатели курса. Помогите пожалуйста скорректировать скрипт для Phyton 3.

[@coachintegrator]

По синтаксису я увидел только одно отличие: там, где print после ставится скобка. В остальном же все скрипты работают в Py 3

[@enrewardronkhall8340]

Подскажите, пожалуйста, как правильно подойти к решению задачи: у меня есть N услуг, для каждой есть временной ряд продаж. Чтобы правильно спрогнозировать будущие продажи этих услуг нужно для каждой отдельной услуги обучать собственную модель или можно обучить одну модель для всех услуг?

[@Vadim_Abbakumov]

Иногда лучше работает первый вариант, иногда второй. Заранее не скажешь. Надо пробовать оба подхода и применять лучший.

[@enrewardronkhall8340]

@@Vadim_Abbakumov Можете ещё подсказать? Я не могу разобраться: у меня есть данные о количестве оказанных услуг агрегированные по месяцам, но по некоторым услугам в некоторые месяцы не было оказаний. Нужно ли мне при составлении временного ряда вносить нулевые значения чтобы сохранить регулярность периодов сбора данных или нужно разделить услуги на те, у которых продажи ежемесячны и на те, у которых есть нулевые продажи в некоторые месяцы?

[@Vadim_Abbakumov]

@@enrewardronkhall8340 Гуглите. Предложены специальные модификации методов прогнозирования для временных рядов (например продаж), в которых много нулевых значений. Прямо сейчас названий не вспомню.

[@MinisterDorado]

10:48 Мне кажется оговорка - "Если данные больше чем за 5 лет, то самые ранние данные у вас скорее всего устарели и должны быть исключены из анализа". Скорее всего речь идет о поздних данны?

[@Vadim_Abbakumov]

Нет, не оговорка. Самые недавние данные наиболее информативные. Неправильно отбрасывать данные за прошлый год, но сохранять данные 10-летней давности.

[@Sibbarb9]

А можно ссылочку на ноутбук ?

[@grifin6426]

на сайте compscicenter.ru/

[@_AbUser]

Вот как бы Вы в самом начале проговорили бы, что она просто по линейной регрессии рассчитывает среднее изменение каждого месяца по отдельности на перед, по множеству предыдущих месяцев с тем же номером, что январь вычисляется по предыдущим январям, февраль - по предыдущим февралям, так бы было понятнее... А то что то мифическое пихаем во что то галактическое... и фиг знает как это работает... Слишком много терминологии которая абсолютно абстрактно воспринимается..

[@Vadim_Abbakumov]

Так рассуждают в модели сезонная декомпозиция, не в линейной регрессии. Если непонятно, то извините. Старался, не вышло...

[@_AbUser]

@@Vadim_Abbakumov ок Спасибо. А как тогда будет работать регрессия, если туда категориальных признаков добавить? Я то думал она просто весь датасет разобьёт на классы и будет каждый по отдельности прогнозировать? Кстати а если просто get_dummies подойдёт, если по месяцам раскидать?