問題 No.3069
ニューラルネットワークの学習時における誤差逆伝播法の基礎となる「連鎖律（チェーンルール）」について、その役割や性質を述べた記述として不適切なものを1つ選べ。
【正解の解説】
連鎖律は、結合荷重の更新量を計算するために、入力層から出力層に向かう順伝播の段階において、各層の中間出力を逐次的に合算する手法として用いられる。
順伝播は入力から出力へ向かう情報の流れであり、連鎖律が活躍するのは出力の誤差を元に戻していく逆伝播のプロセスです。例えるなら、料理の味が濃すぎたときに、どの調味料をどれだけ減らせばいいかを出発点から逆向きに辿って原因を特定するようなものであり、順方向での合算ではありません。
スポンサーリンク
【その他の選択肢の解説】
連鎖律は、活性化関数の非線形性を相殺するために、出力層から入力層に向かう逆伝播の段階において、各層の重みパラメータを直接に平均化する手法として用いられる。
初学者が誤解しがちですが、連鎖律は重みを平均化する仕組みではなく、微分の計算を簡単にするためのルールです。例えるなら、何重にも連なった歯車の回転比を計算するときに、個々の歯車の比率を順番に掛け合わせて全体の比率を出すようなものであり、値を平均化する操作とは全く異なります。
連鎖律は、合成関数の微分を各層の偏微分の積として分解することで、出力層側で得られた誤差から各パラメータに対する勾配を効率的に算出する手法として用いられる。
ニューラルネットワークは関数のネスト（入れ子）構造になっているため、全体を一度に微分するのは困難です。ここで連鎖律を使うと、マトリョーシカ人形を開けるように、外側から内側へと順番に偏微分を掛け算して分解できます。これにより、複雑な計算を驚くほど効率的にこなすことが可能になります。
連鎖律は、ネットワーク全体の過学習を抑制するために、出力層から入力層に向かう逆伝播の段階において、各層の中間出力を確率的に間引く手法として用いられる。
中間出力をランダムに消去して過学習を防ぐ手法はドロップアウトと呼ばれ、ニューラルネットワークの正則化テクニックです。連鎖律はあくまで数学的な微分の連鎖計算ルールを指すため、機能を間引くようなハードウェア的・確率的な操作とは次元が異なる別の概念です。