Deep Learning精度向上テクニック：様々な最適化手法 #1

[@有休の旅人]

SGDはあくまで最も下に降る方向に対して移動するので、例のような等高線を持つ誤差関数では、等高線に対して直交、等高線の間隔が狭い縦間での移動によって最適解に近づいていくので、横方向には移動できず最適解に到達するまで時間がかかるわけですね。また、ロスの小さい等高線を通り過ぎないように、学習率を小さくすると更新量が小さくなって最適化に時間を要しすぎると。 そこで、より高速で最適解に辿り着く方法として以下の通りあると。 1.Momentum法 更新量について、最急降下方向に加えて、前回からの更新方向も加味してパラメータを更新。稜線付近ではSGDは1次の負の自己相関のように正負を繰り返すが、Momentumは過去からの更新量も加えて加味するので符号が相殺されて、ジグザグせずにスムーズに最適解へ向かえる。

[@mtmotoki2]

RMSPropの式の意味がよくわかってなかったんですが、この動画の説明でりかいできました。ありがとうございます

[@iamtherefore278]

ド素人だけど今回の動画でかなり理解が進んだ

[@bigbangnuc]

わかりやすっ。感謝です。

[@takumih7276]

分かりやすい！！

[@mumumu_you]

手法ごとの違いが目に見えてとてもわかりやすい

[@うなな-d2e]

RMSはRouteMeanSquareのことなのか、納得！

[@poe0611]

BGMなしバージョンが欲しいです。

[@競馬のひとりごと]

MomentumとNAGの更新式において正負の符号が逆だと思います。慣性項が加算でなく減算されてしまうので。 また、勾配をデルタで表記してますが、微分演算子のナブラが適切ではないでしょうか。 以上、気になる点を挙げましたが、E資格の勉強に役立つ動画です。ありがとうございます。

[@MorningChoco]

小林さん説明うますぎ！！

[@cheejpn]

私もBGMなしバージョンがあるといいな、と思いました

[@刹那しあ]

Adamすごっww