РЕАЛИЗАЦИЯ ЛИНЕЙНОЙ РЕГРЕССИИ | Линейная регрессия | LinearRegression | МАШИННОЕ ОБУЧЕНИЕ

Практическое задание boosty.to/machine_learrrning/...
Поддержать канал можно оформив подписку на boosty.to/machine_learrrning
Канал в TG t.me/machine_learrrning
Группа в VK machine_learrrning
Курсы на платформе Stepik:
1. Библиотеки Python для Data Science stepik.org/a/129105
2. Введение в нейронные сети (Keras/Tensorflow) stepik.org/a/127274
Вопросы, на которые найдем ответы в этом видео:
Что такое линейная регрессия?
Как обучить LinearRegression из sklearn?
Как написать свою реализацию LinearRegression?
Что такое градиентный спуск?
Метрики регрессии • МЕТРИКИ РЕГРЕССИИ В МА...
Ноутбук из видео colab.research.google.com/dri...
0:00 Вводная
0:08 Что такое линейная регрессия в общих чертах
0:37 Разные линии ax + b
2:25 Получение данных
3:11 Обучение LinearRegression из sklearn
3:39 Коэффициенты у линейной регрессии .coef_, .intercept_
4:04 Отрисовка линейной регрессии
4:40 Предсказания линейной модели .predict()
4:54 Предсказания линейной модели через коэффициенты
5:14 Построение другой линейной регрессии
5:53 Сравнение линейных моделей по отклонению
6:56 Сравнение линейных моделей по метрике MSE
7:30 Как обучается линейная регрессия?
7:49 Оптимизация MSE
8:55 Градиентный спуск
8:59 Что такое градиент
9:54 Антиградиент
10:13 Градиент на примере гор
11:26 Реализация градиентного спуска на python
13:15 Скорость обучения (шаг обучения) в градиентном спуске
14:21 Второй шаг градиентного спуска
14:56 Цикл градиентного спуска
16:40 Критерий остнова градиентного спуска по коэффициентам
18:17 Алгоритм градиентного спуска
18:59 Реализация линейной регрессии через градиентный спуск
19:30 Реализация функции MSE и производная MSE
21:58 Цикл обучения линейной регрессии на одном признаке
24:30 Обучение многомерное линейной регрессии
24:54 Обучение LinearRegression из sklearn
25:06 Веса линейной регрессии
25:54 Предсказания LinearRegression .predict()
26:03 Предсказания линейной модели через веса
26:23 Подсчет метрики MSE
27:51 Реализация линейной модели на python
28:03 Линейная регрессия - это скалярное произведение
29:05 Свободный вес в линейной регрессии
29:15 Фиктивный признак
29:50 MSE в матричном виде
30:48 Реализация функции MSE и градиент MSE
31:56 Инициализация весов
32:12 Цикл обучения линейной регрессии
34:14 Практика на boosty.to/machine_learrrning
35:05 Резюме занятия
Music: www.bensound.com

[@user-pi8pb3ku6r]

Эта булочка все так классно объясняет😄, одни из немногих видео по DS которые я реально понимаю, пересматриваю по много раз, чтобы запомнилось лучше.

[@alexeykolesnik9038]

Знаете, я увидел Ваше видео кас обратного распространения ошибки и подумал: "Что? Юная девушка с ушками мне будет рассказывать про нейро-сети?" Я учусь на курсе по нейро-сетям у профи, но ничего не могу понять. И тут Вы разбираете обратное прохождение через вычисление производных в точках сети и все совершенно понятно.Как так.... Визуализация функции потерь в данном видео - гениально. В общем, это лучшее обучающее видео, что я видел! Не знаю, кто написал эту лекцию и обучающий код, но это преподаватель высшего класса. Спасибо, что вы есть! Сейчас слушаю все видео на Вашем канале с самого начала - балдеж!

[@machine_learrrning]

Очень рада, что видео Вам понравилось! Я самостоятельно во всех этих вещах разбиралась и тоже не всегда всё понимала, т.к. информация дается либо очень заумно, либо поверхностно и разрозненно, в процессе осознала, что если разобрать всё на мельчайшие базовые и легкие детали, то знания будут запоминаться и пониматься без проблем. Вот этот механизм и стараюсь использовать в своих роликах :)

[@alexeykolesnik9038]

@@machine_learrrning Юлия, я 3 месяца пытался детально разобраться, т.к. идея градиентного спуска и ф. ошибки она же везде в ML. Прослушал курс дист. пересмотрел десятки видео на ю туб и статьи -все туман. А вы разложили все так подробно, что на самом низком уровне понимаешь, как это работает. Единственно, я не понял, почему, когда вы отрисовываете градиент(производную) к параболе в точке Х=5 она не является фактически производной (т.е. касательной к функции). У вас в коде: "Можем отрисовать направление градиента, он показывает наискорейший рост функции и действительно видим, зеленый вектор идет вверх." next_point_1 = start_point + grad plt.plot([start_point, next_point_1], func(np.array([start_point, next_point_1])), '--g', label='grad') Можете пояснить? Или это просто для иллюстрации направления гралиента?

[@machine_learrrning]

@@alexeykolesnik9038 Да, это для иллюстрации градиента. Куда нужно двигаться при шаге градиентного спуска

[@user-sn5ot4jr5t]

наверное лучшее объяснение на СНГ и англоязычном ютубе

[@shiawaseyume9675]

Дякую, неймовірно класні відео, в 100 разів цікавіше ніж лекції в університеті

[@LoSb_Krakov]

Это потрясающе, я наконец то понял где применяется градиентный спуск, СПАСИБО! Еще бы линейную классификацию))))

[@machine_learrrning]

Очень рада, что с помощью моего видео получилось понять градиентный спуск 😊 Записала в пожелания линейную классификацию

[@user-be2pk3tr6l]

Как всегда огромные слова благодарности за Ваш труд!!! Сколько всего интересного!

[@delkaaaa]

Спасибо! Действительно, очень классное объяснение для тех кто пытается в этом разобраться!!!

[@user-zt2du3id9o]

Спасибо, мало кто в состоянии объяснить так лаконично и доходчиво

[@VsevolodT]

Пока что для меня ваш канал и подача материала это наиболее полезная форма. Между мамкиными датамашинлернерами и ядерными курсами по ML. Спасибо за вашу отличную работу

[@user-og7ql4cg7o]

Огромное спасибо за отличные гайды. Стало гораздо понятнее. Подписался)

[@vladzakharov968]

Спасибо вам огромное!! Ваше видео помогло при сдаче лабораторной! Счастья вам и успехов!

[@user-gw2hb6nd6x]

Отличное объяснение! Все системно и последовательно. Спасибо!

[@wordofworld6874]

Спасибо большое за замечательное объяснение )

[@user-wr7vn3ve5e]

Спасибо! Все очень круто, жду следующих обучающих видеоуроков!

[@user-pj3qb1is1c]

Тудым-сюдым... человеческими шагами ))) Шикарно!

[@paveltimofeev5686]

У вас огромный талант, как у специалиста ML и преподавателя. Вы печатаете, рассказывая происходящее, и это всё понятными словами, с минимумом отпечаток в коде! Вау! Ваши видео ни раз выручали меня при выполнении учебных проектов, суть которых "научи от А до Г, от Д до Я пусть сами ищут. Поэтому я зарегистрировался на ваш курс и не пожалел. Курс у вас просто отменный. Можно вам предложить идею видео: основы ООП для создания пайплайна.

[@machine_learrrning]

Спасибо огромное за такие приятные слова! Идею записала, спасибо :)

[@benrise4775]

Это прекрасно

[@zarinaiztay3954]

огромнейшее спасибо за видео, всегда круто объясняете

[@petrlifshits2574]

Отличный канал!

[@aaaaaaapchi]

Отлично!

[@luizzagrand2683]

хочу отметить, что предсказание модели нельзя делать на обученных данных (блок подсчет метрики MSE). для тех , кто только начал изучать это может вызвать затруднение и в дальнейшем неправильное понятие модели предсказания

[@user-pf5gz3gr6b]

наконец то нашел видос где обьяснение это действительно обьяснение, а не 1.5 часа понтов лектора какие он знает приемчики из линейной алгебры

[@VsevolodT]

Юлия, вопрос про многофакторную регрессию. Может быть ситуация, что два фактора взятые по-отдельности это просто шум и по одному они как бы не влияющие. Но если их рассмотреть в паре, как-то их связать, то они дают четкое влияние на искомый результат. Как модель обучения учитывает эту ситуацию? Заранее спасибо! И ушки клёвые)

[@kosby5963]

Умничка , материал топ !😊

[@user-bj9bf8jn9h]

Мне, конечно, интересно, что может быть в платных курсах на степике, если и в бесплатном доступе я получил совершенный урок

[@alosheralisher958]

Лучшее что есть на русском по ML

[@MsGleaming]

Поясните, пожалуйста, как из градиента=10 мы пришли к вектору, который изображен на графике? Как с помощью этого одного этого числа получилось построить направление роста функции? Просто тут градиент выглядит как точка..

[@Brometey]

У меня есть вопрос: в случае, когда вы берете в пример функцию x**2 и используете градиентный спуск, вы используете его только для наглядности? - я имею в виду, можно ли было использовать просто метод нахождения локального минимума приравниванием производной к нулю для нахождения минимального (оптимального значения )?

[@helloworld-fv8kx]

круто. спасибо. у меня заняло два!(два месяца карл) чтоб это понять наконец на low level ) но я и другое учил параллельно. умный... че сказать

[@machine_learrrning]

Не важно, сколько заняло, важно, что получилось понять :)

[@kochkindi]

Спасибо большое за информативное детальное видео! Накопились , скорее всего, глупые вопросы: Получается, что во время стадии "обучение модели" с помощью sklearn градиентный бустинг уже имплементирован внутрь sklearn.LinearRegression, раз на выходе мы получаем сразу готовые коэффициенты?

[@machine_learrrning]

да, в целом так и происходит, градиентный спуск имплементирован внутри sklearn модели.

[@Andrey-iu3lh]

В sklearn.LinearRegression нахождение весов реализовано через qr разложение, а вот LogisticRegression и SGDRegressor уже через градиентный спуск

[@elenagolovach384]

Ставь класс если твоя жизнь - это социальный градиентный спуск

[@farkhatd77]

привет, большое спасибо, будет ли туториал по логистической регрессии?

[@machine_learrrning]

Привет, пожалуйста, очень рада помочь! Да, планирую такое видео с разбором устройства линейной модели для классификации.

[@elenagolovach384]

Чудесные уши)

[@machine_learrrning]

Спасибо :)

[@andrewu.2163]

Можно ли ссылку на ноутбук?

[@machine_learrrning]

Ссылка на ноутбук есть в описании