問題 No.3467
ニューラルネットワークの学習時に発生する「出力重み衝突」という用語が示す概念について、最も適切な説明を1つ選べ。
【正解の解説】
モデルが過去の情報を保持しようとする重みの更新と、現在の入力に基づいた出力を生成する重みの更新が互いに干渉し合う現象を指す。
これは料理人が「昔の定番の味を守ろうとする動き」と「目の前のお客さんの新しい好みに合わせようとする動き」が手元でケンカして手が止まってしまうような状態です。ニューラルネットワークで過去の記憶と現在の入力のバランスを取る際に、重みの更新方向がぶつかり合って学習が難しくなる本質的な現象を的確に表しています。
スポンサーリンク
【その他の選択肢の解説】
モデルが複数の異なるタスクを同時に学習する際、それぞれの最適化目標が相反することで重みの更新方向が逆向きになり相殺し合う現象を指す。
複数の異なる目標を同時に追いかけることで生じる「マルチタスク競合」の説明であり、出力重み衝突とは指している対象が異なります。初学者は「複数の重みが衝突する」という言葉の響きだけで混同しやすいため、どのような目的の対立で起きた現象なのかを整理して覚えることが合格への近道となります。
モデルの隠れ層における重みパラメータが初期値の設定依存で同一の勾配を持ち、学習が進んでも異なる特徴量を学習できなくなる現象を指す。
ニューラルネットワークの隠れ層で全ての重みが同じ値で初期化されてしまうと、勾配も全く同じになり、全員が同じ方向を向いてしまう「対称性の呪い」と呼ばれる現象です。重みの更新が干渉し合う出力重み衝突とは発生メカニズムが全く異なるため、問題文のキーワードが示すネットワークのどの部分の不具合なのかを正確に見極める必要があります。
モデルの出力層の手前にある複数の全結合層において、勾配消失や勾配爆発が同時に発生して誤差逆伝播法が途中で停止する現象を指す。
誤差逆伝播の途中でシグモイド関数などの影響により勾配が消えてしまう「勾配消失問題」や数値が無限大に発散する「勾配爆発」の説明です。重みの更新同士がぶつかり合う出力重み衝突とは異なり、こちらはシグナルそのものが途中で弱まったり消え去ったりする別のトラブルを指しているため、混同しないよう注意が必要です。