問題 No.1196
ディープラーニングにおいて、モデルの表現力が高すぎるために手元の訓練データに過剰に適合してしまう過学習を防ぎたい。学習の各ステップにおいて、ネットワークのノードを一定の確率でランダムに無効化して学習を行い、予測時にはすべてのノードを使用することで、実質的に複数の異なるモデルをアンサンブル学習させたような効果を得る手法はどれか。
【正解の解説】
ドロップアウト
ドロップアウト（Dropout）は、ミニバッチごとの学習ステップにおいて指定された確率（例：50%）でランダムにノードを選択して不活性化（出力を0に）する手法です。これにより特定のノード同士が複雑に依存し合う「共適応」を防ぎ、アンサンブル学習と似た高い過学習抑制効果を発揮します。
スポンサーリンク
【その他の選択肢の解説】
バッチ正規化
バッチ正規化（Batch Normalization）は、ミニバッチ単位で各層の入力を平均0・分散1に正規化する処理です。内部共変量シフトを抑えて学習速度を格段に高める効果がありますが、ノードをランダムに間引いてモデル構造を変えるドロップアウトとは機能が異なります。
早期終了
早期終了（Early Stopping）は、訓練データに対する損失だけでなく検証用データ（Validation data）の損失を毎エポック監視し、過学習によって検証誤差が上昇に転じた段階で学習をストップさせる手法です。ノード自体を間引くアルゴリズムではありません。
正則化
正則化（Regularization）は、モデルの複雑さにペナルティを科すアプローチ全般を指します（L1正則化やL2正則化など）。ドロップアウトも広義の正則化手法に含まれますが、ノードをランダムに無効化するという具体的なアルゴリズムを指す用語としてはドロップアウトが最も適切です。