問題 No.3210
ディープラーニングにおける最適化手法のAdamに関する記述として不適切なものはどれか。
【正解の解説】
ハイパーパラメータの調整が一切不要であり、どのような初期設定を行っても理論上必ず大域的最適解に到達する。
どんな優れた道具でも魔法のように全てを自動で解決できるわけではありません。Adamには学習率などのハイパーパラメータが依然として存在し、初期値や設定次第で局所最適解やサドルポイントに留まるリスクも残るため、調整が一切不要で必ず大域的最適解に到達するという表現は不適切です。
スポンサーリンク
【その他の選択肢の解説】
過去の勾配の指数移動平均だけでなく、勾配の二乗の指数移動平均も利用して学習率を自動的にスケーリングする。
これはAdamの心臓部とも言える仕組みです。方向の勢いを表すモメンタムの要素と、傾きの大きさに応じて歩幅を変えるRMSpropの要素を組み合わせることで、どんな地形であっても効率よく安全に山を下っていくことができる優れた特徴を持っています。
モメンタム最適化の加速効果とRMSpropのアダプティブな学習率調整の特性を同時に組み込んだアルゴリズムである。
自転車のペダルをこぐ際に、これまでの勢いを引き継ぐモメンタムの力強さと、坂道の急さに応じてギアを自動で変えるRMSpropの賢さを合体させたような仕組みです。これにより、ディープラーニングの複雑な学習迷路をスムーズに攻略できるようになります。
スパースな勾配を持つ問題に対して特に有効であり、自然言語処理や画像認識の多様なタスクで広く採用されている。
出現頻度が偏っている言葉を扱う自然言語処理や、ピクセル情報がまばらな画像認識の世界では、勾配がゼロになりやすい難しい状況が頻発します。Adamはそうした一筋縄ではいかないデリケートな問題に対しても安定して高い性能を発揮するため、実務の現場で定番として愛用されています。