問題 No.2001
ディープラーニングにおける誤差逆伝播法の計算過程において、合成関数の微分則である連鎖律に関する記述として不適切なものを1つ選べ。
【正解の解説】
連鎖律は、ディープラーニングのモデルにおいて、出力層から入力層への逆方向ではなく、入力層から出力層への順方向の計算においてのみ適用される。
料理のレシピを逆にたどるようなもので、出来上がりから逆算して「どこで味が濃くなったか」を調べるのが誤差逆伝播法です。連鎖律はこれを順方向ではなく、出力から入力へ向かう逆方向の計算でこそ真価を発揮するため、この記述は逆であり誤りとなります。
スポンサーリンク
【その他の選択肢の解説】
連鎖律は、複数の微分係数の積として表現されるため、ネットワークの層数が深くなるほど勾配の計算において値が急速に消失または爆発する原因となる。
伝言ゲームで少しずつ言葉が歪んでいくように、0.5のような小さな数を何度も掛け合わせると値が消えてしまうのが勾配消失です。連鎖律は微分を掛け算していく仕組みのため、層が深くなるとこの現象が避けられず、ディープラーニングの歴史的な課題となりました。
連鎖律は、各層の活性化関数の微係数と次の層からの重み付き勾配を掛け合わせることで、目的関数の各パラメータに関する偏微分の計算を可能にする。
複雑なパズルをピースごとに分解して確認する作業に似ています。各層のバトンタッチを数学的に繋ぎ合わせることで、全体の重みが最終的な間違いにどれだけ影響したかを正確に割り出すことができ、ニューラルネットワークの学習の根幹を支えています。
連鎖律は、任意の複雑な非線形関数であっても、微分可能な小さな演算ブロックに分解することで、それぞれの局所的な微分を連ねて全体を微分できる。
レゴブロックのように複雑な形も小さなパーツの組み合わせで作られているのと同じです。どんなに巨大なAIモデルであっても、微分可能な小さな演算に分解して連鎖律を適用すれば、全体としてきれいにつながった微分計算が可能になります。