問題 No.3055
ディープラーニングにおける正規化層（Normalization Layer）の働きや特徴に関する記述として不適切なものを一つ選べ。
【正解の解説】
ミニバッチ単位での平均と分散を用いたスケーリングにより、ネットワークのパラメータ初期値に対する依存度を高める。
正規化層は初期値に依存しにくい頑健な学習を行うために導入されます。例えるなら、料理の味付けで毎回食材の塩分量がバラバラな状態から、常に一定の基準に整えることで誰が作っても失敗しなくするようなものであり、初期値への依存度を下げるのが正しい働きです。
スポンサーリンク
【その他の選択肢の解説】
ミニバッチ単位での平均と分散を用いたスケーリングにより、内部共変量シフトを軽減して勾配消失リスクを緩和する。
これは正規化層の最も主要な目的を述べた正しい記述です。深いビルを建てる時に各階の床を水平に水平器で整えるように、層ごとのデータ分布が暴れるのを防ぎ、奥深くまでスムーズに学習のシグナルが届くようにする役割を持っています。
レイヤー間の出力分布を整えることで、学習時の過学習を抑制し未知データに対する汎化性能を向上させる。
正規化には偶然のノイズを和らげる一種の正則化のような効果もあります。試験勉強で特定の過去問だけに偏って暗記するのではなく、全体の基礎体力を底上げして本番の初見の問題でも実力を発揮できるようにする働きとよく似ています。
全結合層や畳み込み層の直後に挿入され、活性化関数を通過する前の特徴量に対して定数項の補正を行う。
バッチ正規化などの一般的な実装では、重み付き和の出力後かつ活性化関数の適用前に挟まれます。マラソン選手が走り出す直前に足並みを綺麗に揃えるスタートラインのような位置づけで、次へ進む前のデータ整流を行っています。