問題 No.3157
ディープラーニングにおける最適化手法（オプティマイザ）の一つであるAdadeltaに関する記述として、不適切なものを一つ選べ。
【正解の解説】
パラメータの更新において、ハイパーパラメータとして手動で初期学習率を明示的に設定し続ける必要がある。
人間が自転車のペダルをこぐ強さを状況に合わせて自動で変えてくれる全自動自転車のようなものです。Adadeltaは初期学習率という手動設定を不要にした点が最大の特徴であり、設定し続ける必要があるとする本選択肢は誤りとなります。
スポンサーリンク
【その他の選択肢の解説】
勾配の二乗の指数移動平均を用いて過去の勾配の蓄積を制限し、学習率の急激な減衰を抑制する。
過去のすべての記憶を永遠に引きずるのではなく、直近の古い記憶を少しずつ忘れながら新しい情報を取り入れる仕組みです。これにより、学習後半になって学習率がゼロになってしまい全く進まなくなるという致命的な失速を防いでいます。
Adagradの拡張手法であり、学習率を手動で調整する必要性を排除した学習アルゴリズムである。
Adagradは勉強が進むにつれてどんどんペダルが重くなり進まなくなる欠点がありましたが、その弱点を克服して手動調整の面倒くささを完全に消し去ったのがAdadeltaです。歴史的な改良の流れを正しく表した記述となっています。
パラメータ更新量の二乗の指数移動平均を同時に維持し、単位の整合性を保つ仕組みを備えている。
物理の世界で言うところの単位の整合性を保つことで、計算の安定性を爆発的に高めています。勾配だけでなく更新量も同じように管理する高度な仕組みであり、Adadeltaの正確な内部動作を説明した正しい記述です。