問題 No.3033
ディープラーニングにおけるモデル学習の最適化手法の一つであり、Adamの特徴である学習初期の高速な収束性と、確率的勾配降下法（SGD）の特徴である学習終盤の優れた汎化性能という双方のメリットを動的に組み合わせることを目的として開発されたオプティマイザはどれか。
【正解の解説】
AdaBound
これは例えるなら、目的地まで最初はアクセル全開で一気に高速道路を走り（Adam）、目的地周辺に近づいたら細い路地を慎重に安全運転で目的地を探す（SGD）ようなものです。学習のフェーズに応じていいとこ取りを自動で行ってくれるため、非常に効率的かつ精度の高いモデルが作れます。
スポンサーリンク
【その他の選択肢の解説】
AdamW
AdamWは重みの減衰を正則化項から分離して適切に処理する点が最大の特徴であり、学習率の動的な上限変化によって汎化性能を高めるAdaBoundとは目的やアプローチが異なります。名前の響きが似ているため試験でも混同しやすい典型的な罠として出題されます。
RMSprop
RMSpropは学習率の調整において過去の履歴を指数移動平均で減衰させますが、学習終盤にSGDのような汎化性能の優れた定常的な挙動へ滑らかに移行する機能までは持っていません。Adamのベースとなった技術の一つであり、AdaBoundとは目指すゴールが異なります。
AdaGrad
AdaGradは学習が進むにつれて過去の勾配がすべて足し算されて分母が大きくなりすぎるため、学習の後半で極端に学習率がゼロに近づいて止まってしまう弱点があります。AdaBoundが学習終盤に安定性を保ちつつ性能を向上させる仕組みとは異なり、こちらは学習が途中で停滞しやすい点が大きな違いです。