問題 No.3727
ディープラーニングの過学習を防ぐ手法であるドロップアウトについて、その適用方法や運用の特徴を述べた記述として不適切なものはどれか。
【正解の解説】
学習時に無効化したニューロンについて、推論時にも継続して完全に出力を0に固定し続けることでテストデータのノイズを完全に遮断する。
ドロップアウトは学習時のみランダムにニューロンを休止させ、本番の推論時はすべてのニューロンに参加してもらう仕組みです。学校の部活で毎回ランダムにメンバーを休ませて練習し、本番は全員で試合に臨むことで特定の人への依存を防ぐようなものであり、推論時も出力を0に固定し続けるとネットワークの性能が大幅に低下してしまいます。
スポンサーリンク
【その他の選択肢の解説】
学習時にはランダムにニューロンを無効化するが、推論時には無効化を行わず全てのニューロンの出力を残存確率に応じてスケーリングする。
初学者は推論時の処理を忘れがちですが、学習時にニューロンを消した分だけ出力の総量が減ってしまうため、推論時にはその確率分を掛け合わせてバランスを取るスケーリングが必要になります。この記述はドロップアウトの正確な仕組みを述べており、本問の不適切な記述を探す文脈において正解の裏付けとなります。
バッチ正規化と同様にミニバッチ単位で平均と分散を計算し、各特徴量のスケールを調整することで過学習を抑制する効果を持つ。
バッチ正規化はデータの平均と分散を調整して学習を安定させる手法ですが、ドロップアウトはネットワークの一部をランダムに遮断することで特定の神経回路への依存を防ぎます。試験ではこのように全く別の正則化手法の特徴を混ぜて出題されることが多いので、それぞれの名前と具体的な処理内容をセットで覚えることが重要です。
ネットワーク全体の結合重みの大きさに応じた正則化項を損失関数に追加し、過度に大きな重みが形成されるのを抑制する。
損失関数にペナルティ項を追加して重みが巨大になるのを防ぐのは重み減衰であり、ネットワークの構造自体を確率的に間引くドロップアウトとはアプローチが異なります。どちらも過学習を防ぐ代表的な手法ですが、アルゴリズムの仕組みが根本的に違うため、用語と解説の組み合わせを混同しないよう注意が必要です。