問題 No.1950
ディープラーニングの学習過程において、多層のニューラルネットワークを逆向きに伝播する勾配が、入力層に近づくにつれて指数関数的に小さくなり、下位層の重みがほとんど更新されなくなる現象を指す用語はどれか。
【正解の解説】
勾配消失問題
伝言ゲームを何十人もトントンと後ろの人へ伝えていくうちに、最後には声がほとんど聞こえなくなってしまう状態に似ています。ネットワークが深くなればなるほど、出口（出力層）での間違いが入り口（入力層）にうまく届かなくなり、初期の層のニューロンがサボってしまうのがこの問題の本質です。
スポンサーリンク
【その他の選択肢の解説】
勾配爆発問題
勾配消失問題とは真逆のトラブルであり、こちらは伝言ゲームの途中で声がどんどん大きくなり最終的に叫び声になって収拾がつかなくなる状態です。両者はセットで出題されやすいため、ネットワークの浅い方で消えるのが「消失」、値が暴走するのが「爆発」と整理しておきましょう。
過学習抑制問題
問題文にあるニューラルネットワークの学習が進まない「勾配消失」とは全く異なる概念です。過学習を防ぐためにはドロップアウトや正則化という手法が使われますが、これらは学習が進まない問題を解決するものではなく、あくまでテスト対策をしすぎて柔軟性を失った状態を防ぐためのものです。
次元削減問題
データの複雑さを軽減するために主成分分析などを用いて次元を圧縮する技術であり、ディープラーニングの内部で起こる信号の減衰や学習の停滞とは何ら関係ありません。初学者が「難しそうなAIの専門用語」として混同しやすい用語を集めたダミーの選択肢です。