問題 No.3424
ニューラルネットワークの訓練における最適化アルゴリズムの一つであり、適応的学習率を持つ手法の高速な収束性と、定数または減衰する学習率を持つ手法の頑健な汎化性能のトレードオフを解消するため、学習率の上限と下限を動的な境界で制限するオプティマイザはどれか。
【正解の解説】
AdaBound
自転車のペダルをこぐ力を想像してください。最初の上り坂ではグイグイ進む適応型（Adam等）の良さを活かし、平坦な道やゴール間近では暴走しないよう速度に制限（境界）をかけることで、安定して目的地に到着できるようにバランスを取るハイブリッドな仕組みです。
スポンサーリンク
【その他の選択肢の解説】
AdamW
AdamWは重み減衰の計算方法を修正して汎化性能を高めるものですが、学習率自体を動的な上下限で挟み込む仕組みではありません。AdaBoundが目指す学習率のダイナミックな範囲制限という特徴とはアプローチのベクトルが異なるため誤りとなります。
Ranger
Rangerは複数の強力な手法をあらかじめブレンドして実用性を高めた複合オプティマイザであり、本問で問われている「動的な境界で学習率の上限と下限を直接制限する」という機能を持つ専用の名前であるAdaBoundとは定義が異なります。
Lookahead
Lookaheadはパラメータの更新に「二人の人間がロープで結ばれて歩く」ような独自の工夫を取り入れ安定性を高めますが、学習率そのものを時間経過や動的境界でガチガチにクリッピングするAdaBoundの仕組みとは本質的にメカニズムが異なります。