問題 No.2830
機械学習のパラメータ最適化手法の一つであり、過去に観測された勾配の二乗和を分母に蓄積することで、更新頻度の低いパラメータに対しては学習率を相対的に大きくし、更新頻度の高いパラメータに対しては学習率を小さく自動調整するアルゴリズムはどれか。
【正解の解説】
Adagrad
初めて歩く険しい山道で、よく踏み固められた平坦な道（更新頻度が高い）は歩幅を狭くし、誰も歩いていない草むらや急斜面（更新頻度が低い）は歩幅を大きくして効率よく進むようなものです。この仕組みにより、パラメータごとに最適な学習率が自動で設定され、効率的で安定したパラメータの最適化が可能になります。
スポンサーリンク
【その他の選択肢の解説】
RMSprop
Adagradの弱点である「学習が進むにつれて過去の勾配が蓄積され続け、学習率が極端に小さくなってしまう現象」を解決するために開発されました。Adagradと名前や数式が似ているため混同しやすいですが、古い情報を徐々に忘れる仕組みを持つ点が決定的な違いです。
Momentum
転がってきたボールが坂道を下るとき、勢い（慣性）がついて障害物を乗り越える様子を再現しています。過去の勾配の蓄積を利用する点はAdagradと似ていますが、Momentumは「勢いをつけて局所的最適解を飛び越える」ことが主目的であり、学習率を自動調整する仕組みではありません。
Adam
現代の深層学習において最もよく使われる定番のアルゴリズムの一つです。Adagradの進化系であるRMSpropをベースにしているため、過去の勾配を蓄積して学習率を調整する点までは似ていますが、モーメントの要素も同時に取り入れてバランス良く最適化を行う点が大きな違いです。