問題 No.3139
ディープラーニングモデルを構築し、誤差逆伝播法を用いて勾配降下法を実践するシナリオを考える。このとき、ネットワークのパラメータ更新に必要な各層の偏微分値を、出力層から入力層へ向かって効率的に連鎖させて計算する数学的背景として、不可欠となる概念はどれか。
【正解の解説】
連鎖律
連鎖律は、大ギアを1回転させると小ギアが何回転するかを順番に掛け算して求める歯車の仕組みに似ています。ディープラーニングの何重もの複雑な層を通過する際も、出力側の誤差から入力側に向かって各層の影響度を次々に掛け合わせていくことで、効率よくパラメータの修正値を計算することができます。
スポンサーリンク
【その他の選択肢の解説】
発散定理
発散定理は物理学やベクトル解析でよく使われるガウスの発散定理などを指し、空間からどれだけの量が流れ出ているかを計算するものです。名前の響きが数学的であるため混同しやすいですが、ディープラーニングの誤差逆伝播法における偏微分の連鎖計算には使用しないので注意が必要です。
平均値の定理
平均値の定理は関数の大まかな変化率と瞬間の変化率の関係を示す重要な微分の定理ですが、誤差逆伝播法で出力層から入力層へ向かって膨大なパラメータの偏微分値を芋づる式に効率よく計算するための数学的ルールそのものではありません。
合成関数
合成関数は「Aを通ってBになる」という関係性そのものを指す言葉であり、今回の問題で求められている「出力層から入力層へ向かって効率的に微分値を連鎖させて計算する仕組み（法則）」という動的なプロセスを指す名称としては連鎖律が適切となります。