問題 No.1139
過去のすべての勾配の二乗和を蓄積する最適化手法は学習が進むと更新量がゼロになる問題があった。これを解決するため、過去の勾配の蓄積を指数移動平均によって減衰させる手法を【 】と呼ぶ。
【正解の解説】
RMSprop
RMSpropは、AdaGradが「過去すべての勾配の二乗を足し続けるために途中で学習率が0になり学習が停止する」という欠点を克服したアルゴリズムです。過去の二乗勾配に指数移動平均（EMA）を適用して減衰させることで、直近の勾配情報を重点的に活かして学習を持続させます。
スポンサーリンク
【その他の選択肢の解説】
Momentum
Momentum（慣性項）は、前回のパラメータ更新量を「勢い（速度ベクトル）」として加算することで、谷の急斜面での振動を抑え、ローカルオプティマを抜け出しやすくする手法です。過去の二乗勾配の移動平均を用いる手法とは異なります。
確率的勾配降下法
確率的勾配降下法（SGD）は、データの中からランダムに選択したサンプルを用いてパラメータを逐次更新する手法です。単純で軽量ですが、学習率が固定の場合は局所解に陥りやすく、勾配二乗和の移動平均を用いた学習率調整機能は備えていません。
バッチ正規化
バッチ正規化（Batch Normalization）は、各レイヤーの入力をミニバッチごとに平均0・分散1に正規化することで内部共変量シフトを抑えるネットワーク構造上の工夫です。最適化（オプティマイザ）の勾配更新式のアルゴリズムではありません。