問題 No.1674
ニューラルネットワークの学習における「鞍点（Saddle Point）」に関する記述として、最も不適切なものを1つ選べ。
【正解の解説】
鞍点は損失関数の大域的な最小値に位置しており、学習の最終段階で到達すべき理想的な地点である。
鞍点はあくまで学習の途中で遭遇する「停滞ポイント」であり、大域的な最小値ではありません。誤ってこれを最終目標と認識することが学習におけるアンチパターンです。
スポンサーリンク
【その他の選択肢の解説】
ある方向に対しては極小値をとるが、別の方向に対しては極大値をとるような勾配がゼロとなる点である。
鞍点は、ある断面では下に凸（極小）、別の断面では上に凸（極大）となっており、多次元空間において勾配がゼロとなる点のことです。
高次元の損失関数において、局所最適解よりも頻繁に発生し、学習の進行を妨げる要因の一つとなる。
ディープラーニングにおける損失関数の次元は非常に高いため、すべての方向で極小値となる局所最適解よりも、いずれかの方向で勾配が逆転する鞍点の方が圧倒的に多く存在します。
鞍点に到達した際、勾配がゼロになるため、勾配降下法では学習が実質的に停止し、パラメータの更新が進まなくなる。
勾配降下法は勾配の大きさに依存して更新を行うため、勾配がゼロに近い鞍点近傍では、学習の収束や停滞が起こりやすくなります。