問題 No.2745
ディープラーニングにおけるモデルの汎化性能と過学習(オーバーフィッティング)に関する記述として、バーニーおじさんのルール(Uncle Bernie's rule)の説明として不適切なものを1つ選べ。
【正解の解説】
訓練データのサンプル数がモデルのパラメータ数の10倍以上あれば過学習は絶対に発生しないという数学的証明である。
バーニーおじさんのルールは、厳密な数学的証明ではなく、あくまで経験則や目安にすぎません。どれだけデータを集めても、データに偏りがあったりノイズが含まれていれば過学習が起きる可能性はゼロにならないため、この記述は誤りです。
スポンサーリンク
【その他の選択肢の解説】
訓練データのサンプル数がモデルのパラメータ数を下回る場合に発生する過学習を防ぐための経験則である。
これはバーニーおじさんのルールが意図する背景そのものを説明しています。パラメータ数がデータ数より多い、つまり「テスト勉強の山を張る範囲が広すぎて問題数が足りない」ような状況で過学習が起きやすいため、この経験則が目安として役立ちます。
ニューラルネットワークの隠れ層の数とノード数を決定する際に用いられる具体的な基準値の一つである。
隠れ層の数やノード数そのものを直接決定するための計算式というよりは、モデルの複雑さ(パラメータ数)に対して必要なデータ量のバランスを考えるための目安として使われるため、この説明はアプローチが少し異なります。
正則化項の重みを調整するハイパーパラメータの探索において経験的に利用される推奨設定である。
正則化の強さを決めるL1やL2の係数調整ではなく、モデルの規模(パラメータ数)とデータ量の比率というアーキテクチャ全体のバランスを評価する経験則であるため、正則化項の重み探索の話と混同してはいけません。