問題 No.1896
ニューラルネットワークの学習プロセスにおける「出力重み衝突（Output Weight Conflict）」の発生機序に関する記述として、最も不適切なものを1つ選べ。
【正解の解説】
勾配消失問題と同様に、誤差逆伝播の過程で勾配がほぼゼロになり、ネットワークの浅い層の重みが全く更新されなくなる現象を指す。
選択肢Cの内容は「勾配消失問題」または「勾配飽和問題」の説明です。出力重み衝突は重みの更新の「方向性」の競合に関する問題です。
スポンサーリンク
【その他の選択肢の解説】
RNN等の再帰構造において、過去の情報を保持するための重み更新と、現在の入力に基づく出力生成の重み更新が互いに干渉し合う現象を指す。
RNNなどの時系列モデルでは、隠れ層の重みが長期記憶と直近のタスクの両方を担う必要があり、最適化の過程でこれら二つの目的が相反することがあります。
勾配消失問題とは異なり、モデルが特定の情報を保持しようとする意図と、新しい情報を更新しようとする意図が矛盾することで学習が阻害される。
勾配消失は層を伝播する過程で誤差が消える問題ですが、出力重み衝突は損失関数の勾配が複数の目的によって互いに打ち消し合う性質を指します。
この問題の解決策として、長期的な依存関係を保持するために記憶セルとゲート構造を導入したLSTMなどのアーキテクチャが開発された。
LSTMはゲート制御を通じて、情報を保持すべきタイミングと更新すべきタイミングを明示的に制御することで、重みの競合を緩和しています。