問題 No.1118
時系列データを扱う再帰型ニューラルネットワークにおいて、過去の情報を内部状態として保持しながら処理を行うが、時間ステップが長くなるにつれて過去の情報の勾配が途中で消滅してしまう問題を【 】と呼ぶ。
【正解の解説】
長期依存性の消失
通常のRNN（再帰型ニューラルネットワーク）では、逆伝播時に時間を遡るにつれて勾配が掛け算によって極端に小さくなり（勾配消失）、遠い過去のデータの特徴を出力層まで伝達できなくなる現象が発生します。これを「長期依存性の消失（長期依存関係の学習の難しさ）」と呼びます。
スポンサーリンク
【その他の選択肢の解説】
内部共変量シフト
内部共変量シフト（Internal Covariate Shift）は、ディープラーニングの各層において、前の層のパラメータ更新に伴って入力データの確率分布が常に変化してしまう現象です。これを解決するためにバッチ正規化（Batch Normalization）などが用いられます。
過剰適合
過剰適合（Overfitting / オーバーフィッティング）は、モデルの表現力が高すぎる場合などに訓練データのノイズまで学習してしまい、テストデータに対する汎化性能が低下する現象です。RNN固有の時間方向の勾配消失問題とは直接関係ありません。
次元の呪い
次元の呪い（Curse of Dimensionality）は、データの特徴量の数（次元数）が増えるにつれてデータが存在する空間の容積が指数関数的に増大し、十分な密度でデータを表現・学習するために膨大なデータ量が必要になる現象を指します。