問題 No.3255
ニューラルネットワークの学習において、勾配降下法の更新式で用いる学習率をパラメータごとに自動で調整する手法として、これまでの全ての勾配の二乗を累積して分母に反映させることで、勾配の総和が大きいパラメータに対して学習率を小さく絞り込む特徴を持つオプティマイザはどれか。
【正解の解説】
Adagrad
まるで「たくさん歩いた場所ほど靴底がすり減って歩幅が小さくなる」ような仕組みです。よく動くパラメータは学習率を小さくして細かく調整し、あまり動いていないパラメータは学習率を大きくして効率よく進めることで、全体のバランスを賢く取るのがAdagradの本質です。
スポンサーリンク
【その他の選択肢の解説】
RMSprop
Adagradは学習が進むにつれて過去の二乗和が無限に溜まり続け、学習率が途中でゼロになって全く学習が進まなくなるという欠点があります。RMSpropはその弱点を克服するために「直近の情報の重みを大きくする」ように改良された兄弟のような手法です。
Momentum
Adagradが「パラメータごとの学習率の細かな調整」に特化しているのに対し、Momentumは「坂道を転がるボールの勢い（速度）」を利用して谷底へ向かうスピードを加速させます。学習の方向性がブレにくくなり、ジグザグした動きを抑えて速く進むための別アプローチの手法です。
Adam
初心者から実務まで現在最もよく使われる定番オプティマイザです。Adagradの「勾配の二乗の累積（過去の情報のスケール）」と、Momentumの「勾配の平均（勢い）」という2つの優れた特徴を同時に組み込んでいるため、どのようなディープラーニングのモデルでも安定して高い性能を発揮しやすいのが最大の特徴です。