Машинное обучение: градиентный спуск для новичков с практикой в Python

Расскажу простым языком как работает градиентный спуск, повторим линейную регрессию, а также пройдёмся на «пальцах» по практической части в Python. Особенно полезен данный ролик будет новичкам.
Ноутбук к лекции
colab.research.google.com/dri...
Приятного просмотра и эй, а ты знаешь градиентный спуск?!
Тайм коды:
00:00 - план, кратко
01:04 - линейная регрессия.
01:56 - практика.
12:09 - прогон созданного кода.
14:24 - самые лучшие результаты

[@SneakView_russia]

мужик, возвращайся скорее! классный контент делаешь, не бросай канал

[@FreemanFromSteppe]

возможно в данное время он херачит орков. будь проклята эта война и те русские, которые от нее тащатся.

[@EZloy]

@@FreemanFromSteppe орк твоя мама

[@JuliaKalashnikova]

Крутой канал, жалко, что последнее видео так давно выложено. Возвращайся, не бросай! Полезное дело делаешь 👏

[@user-eh6rq5zr2b]

Удивительно, что так мало лайков. Очень рада, что попала на твой канал ❤

[@user-vw9hf6bf2l]

Классно! Здорово, что наглядно показываешь подробно)

[@oleggreen1244]

Молодец, но думаю непонятно пояснил. Линейную регрессию тут зря преплел. Наша цель найти минимум ф-ции, в общем случае многих, очень многих переменных. Но тут для примера берём 1параметр, т.е. у(х). Как это сделать? Например такой алгоритм(не градиентный спуск): мы тыкаем в любую точку графика, и смотрим соседние точки, они меньше нашей или нет. Если меньше, то переходим в них и там повторяем все сначала. И так пока не окажемся в точке меньше своих соседе, т.е. минимуме. В чем проблема этого алгоритма? Он привязан к точкам, т.е. встать между точками мы не можем. Ещё если точек оч много, то заходить в каждую точку это будет долго. Хотелось бы например, если мы далеко от минимума, то двигаться через точку или две, а ближе к минимуму уменьшать шаг. Вот тут нам и приходит алгоритм градиентный спуск из этого ролика, он решает эти проблемы. Мы тыкаем в точку графика и смотрим там производную. Ее модуль показывает как сильно наклонена кривая в этой точке. Если модуль производной большой, то наклон сильный, это значит мы далеко до минимума и шаг можно брать побольше, если слабо наклонена, то около минимума и шаг нужно брать поменьше. Т.е. размер шага зависит от модуля производной. А знак производной показывает в какую сторону двигаться. Т.е. если производная >0, то нужно отнять от х шажочек,

[@morowenka9718]

гений

[@saitaro]

> Если модуль производной большой, то наклон сильный, это значит мы далеко до минимума Нет, в общем случае значение производной в точке ничего не говорит нам о том, насколько они далека от минимума. Рассматривать отдельно модуль производной и её знак смысла тоже нет, - можно просто отнимать от аргумента антипроизводную (антиградиент). В случае отрицательных её значений минус превратится в плюс "автоматически".

[@oleggreen1244]

@@saitaro Речь идёт не об общем случае, а именно об этом методе. Антипроизводная, антиградиент, говорите проще, не нужно придумывать ненужные тут термины.

[@saitaro]

@@oleggreen1244 Так речь и в видео, и в комментарии - о градиентном спуске. Антиградиент - это градиент с противоположным знаком, указывающий направление наибольшего убывания функции. Стандартный математический термин при обсуждении этого алгоритма. Его не я придумал :)

[@user-pf6lv1bi8b]

Спасибо тебе! Я как раз тот человек, который начинает изучать Data Science и ищет понятные ролики для новичков. Похоже, я поселюсь у тебя на канале. Жаль только что роликов мало

[@user-zz8os3tv1f]

Очень круто получается, главное не останавливайся!!!

[@noobygo]

Ты классно объясняешь! Спасибо!

[@DezzGen]

Мен, офигенное видео, спасибо большое. Делай ещё !!!

[@Tunec_s_hlebom]

думаю что это лучшее объяснение темы производных. Этот видос нужно показывать детям в школе чтобы они понимали для чего это нужно и как это можно применить

[@user-wz4fn3nm3z]

ну вот как только находишь что то понятное человек бросает канал здоровья тебе надеюсь все хорошо у тебя)) спасибо за те ролики что сделал

[@alizhuban6227]

Отлично объясняешь!👍

[@yrom6335]

Просто и понятно, класс

[@irinastrel3796]

Спасибо тебе, человек!!!

[@rolandsto]

Красавчик, спасибо реально

[@aq_bulat]

Блин, очень классно. Начал изучать Python, ранее работал в RGui, занимаюсь анализом экологических данных. Думаю сейчас расширять знания языка python, чтобы в дальнейшем пользоваться именно им, так как написание кода гораздо проще и графики красочнее. Рад, что наткнулся на твой канал, доступно объясняешь и без воды. Спасибо)

[@user-ht8pm8fp3j]

А почему в RGui, а не в Rstudio?

[@ds_sss_rank]

спасибо за труды

[@user-xs9sw2fx7e]

Как я рада, что наткнулась на твой канал! Спасибо, очень доступно все объясняешь, за одно видео закрыл кучу вопросов, которые пытаюсь уже неделю разобрать :)

[@qsr6840]

Ты красавчик, быстро и доступно всё объясняешь. Самое главное, что не боишься того, что ты и сам не эксперт в области, тем не менее реально всё очень круто доносишь. Респектуха и успехов тебе!

[@anastasiak7875]

Спасибо, благодаря тебе получила автомат по ии))

[@technoskateboarding6501]

СПАСИБО ТЕБЕ!!

[@falcon_wings_]

Продолжай !!!

[@KentBrockman4]

Крутой видос, молодец! Только закрывай окно при записи, самолёты очень шумные :)

[@Chumohola]

Спасибо ❤

[@Alexey_Pe]

14:32, вместо размера шага надо было изменить количество циклов, у него там 20 повторений ( range 20 ), если бы было больше повторений, то оно дошло бы c шагом 0.01

[@sturmann8122]

Ну ты и молодец!!!!

[@timbrazh8512]

"логоритм"? Это что-то новое😆

[@FireFoxOnEarth]

Лучший

[@grbak]

ЛАЙК

[@user-qo7vx8zo7z]

Привет, можешь подсказать, где ты брал данные для видео про линейную регрессию

[@vector5605]

Доброе, будет видео про случайный лес и про обучение с подкреплением?

[@magomeda.4576]

молодец,но казалось бы причём тут линейная регрессия, можно было объяснить на примере весов и ошибки(функции потерь), в названии ролика ведь Машинное обученение

[@user-tb1kr3sf7s]

Где видосы, Сеня? P.s. очень полезные ролики для начинающих ml- инженеров, всем советую смотреть и пересматривать

[@musup7194]

Выпусти разбор уже математический переделы производные интегралы формулы с суммой среднее квадратичное дисперсия и тд

[@user-wi4fv9hf6l]

Жаль канал не обновляется, но спасибо!

[@user-wi4fv9hf6l]

очень доступно показал, понравилось

[@DonzelOhio]

Пожалуйста ответьте на мой вопрос . Вы снимаете на макбуке видео???Какпя модель вашего мака и диагональ экрана

[@silvanaaramyan5255]

А есть теория для градиентного спуска и стохастического градиентного спуска?

[@DuAlexy]

Привет, расскажи как выстроить линейную регрессию ,используя только numpy , с градиентным спуском , с нуля. без sklearn.

[@datascience5487]

Не могу понять в чем математически смысл изменения аргумента функции (-8) на величину производной при таком аргументе (-16) или его части (0,1 * (-16)). Почему надо делать именно такое изменение? Понятно, что это сдвигает аргумент в нужную сторону, постепенно уменьшая или увеличивая его, но почему именно так, в чем его смысл? Это как из расстояния вычесть скорость. Правильно ли я понимаю, что 0,01 можно рассматривать как время?

[@eugenedukatta9355]

1) Потому-что математический смысл градиента это "вектор (в пространстве аргументов х) направленный в направлении наибольшего изменения функции и по величине равный этому изменению". В одномерном случае, как в этом видео, градиент равен просто производной. В многомерном случае (как в реальном ML) компоненты градиента (компоненты вектора) равны частным производным по каждому аргументу х. Так как надо найти минимум, а не максимум, надо двигаться в противоположном направлении, поэтому градиент (умноженный на 0,1) вычитаем. Если бы надо было найти максимум, тогда прибавляли бы. 2) 0,01 скорее это не время, а скорость. Часто в ML называют lr = learning rate (скорость обучения ~нейросети~).

[@kaiservonwien4826]

Пацан красава , где ты ??? Появись мы тебе канал поднимем , задонатим

[@user-fc6nr8cr4p]

возьми меня в ученики)))

[@Forward1]

когда новое видео?

[@pl7771]

Братишь откуда ты такой умный:) мне 34 года, толькотпогружаюсь в машинное обучение, так круто объясняешь, конечно опущено много математических подробностей, но это не мешает доступности и понятности видоса, красава

[@ivanl7786]

То что знаю - понял. То что не знаю - не понял.

[@eugenedukatta9355]

Не понял при чем тут линейная регрессия для чего вообще было затронуто это понятие?

[@user-db8ny4nk8l]

А разве условия остановки кроме количества эпох у градиентного спуска нет?

[@romandevelopment568]

КУДА ПРОПАЛ?!!!!!!

[@user-cs7bv9to7u]

Так и не увидел градиент

[@wardog5260]

для чего корчить лицо на обложке к видео? как по мне это лишнее

[@MsKhch]

Люди, которые пишут, что все поняли, вы что вообще поняли???? Вы точно что-то поняли??? Что он обьяснил, кроме постоянного мычания??? Для того, чтоб понять, что он говорит, надо понимать предмет разговора лучше, чем он сам.

[@user-zv6ct8sc2d]

зашёл на канал,посмотрел название, и нихуя не понял про что ты расказываешь,лишь одно видео смог посмотреть который про 3 приложения и заработок на них.