【正解の解説】
深層学習における高次元の損失関数空間では、局所最適解の存在が常に学習の完全な停止や性能低下を引き起こす最大の障壁となる。
山登りで例えるなら、低い山(局所最適解)に囚われて身動きが取れなくなるのが大問題だと昔は恐れられていました。しかし、ディープラーニングのような超高次元の世界では、ほとんどの「行き止まり」は底なし沼ではなく、どの方向にも傾斜がある「鞍部(サドルポイント)」であることが分かっています。そのため、昔の予想に反して局所最適解自体は学習の致命的な妨げにはなりにくく、「常に最大の障壁となる」という記述は科学的な事実と矛盾するため誤りとなります。
【その他の選択肢の解説】
深層学習における高次元の損失関数空間では、鞍部や平坦な領域の存在が勾配降下法による学習の進行を停滞させる主要な要因となる。
霧深い山道を歩いていて、急に地面が水平になった平らな広場に出たと想像してください。周囲の傾斜が分からないため、どちらに足を動かせばいいか迷ってしまい、足踏み状態になってしまいますよね。これが機械学習における勾配降下法の停滞現象です。損失関数空間にあるこのような平坦な土地や鞍部こそが、現代の最適化においてアルゴリズムを悩ませる真の障害であり、正しい記述となります。
深層学習における高次元の損失関数空間では、過剰適合の発生が訓練データに対する損失値をゼロに収束させることを困難にする原因となる。
過剰適合(オーバーフィッティング)とは、過去のテスト問題の答えを丸暗記してしまい、本番の未知の問題に対応できなくなる現象です。丸暗記をしすぎると訓練データに対する損失値はむしろ異常なほどゼロに近づいて低くなります。したがって、「損失値をゼロに収束させることを困難にする」という部分は因果関係が逆であり、過剰適合の本質をねじ曲げた典型的なひっかけ問題の罠となっています。
深層学習における高次元の損失関数空間では、学習率の過大な設定がパラメータの更新を不安定にし大域的最適解への到達を妨げる障害となる。
自転車のペダルを漕ぐ力(学習率)が強すぎると、目的地の手前で勢い余って行き過ぎてしまい、行ったり来たりを繰り返していつまで経っても目的地(大域的最適解)にたどり着けないのと同じ現象です。AIの学習でも、一歩の幅が大きすぎると最適な谷底を飛び越えてしまい、パラメータが発散してしまいます。この現象は最適化の現場で非常によく見られる正しいトラブルシューティングの知識です。