Методы Оптимизации. Семинар 22. Стохастический градиентный спуск

[@leoniddoskolovich7105]

Мат.ожидание от вектора со случайно выбранной производной не равно градиенту, а пропорционально ему с коэффициентом 1/n

[@fmin]

Не совсем понял, если функция вида finite sample average, то мат. ожидание вектора, в котором мы случайно выбираем один индекс из суммы - как раз равно градиенту такой функции? grad = 1/n sum(f'_i). Я в принципе выше говорил, что мы рассматриваем задачи вида минимизации среднего, для него вроде мое утверждение верно. Или я вас не понял?

[@Sneg00vik]

Номер семинара в названии ролика наверное должен быть 22? Очень понятно объясняете, с нетерпением жду продолжения.

[@fmin]

Большое спасибо вам! Да, номер исправил.