問題 No.2154
機械学習における正則化手法の一つであるL0正則化の定義に関する記述として、最も適切なものはどれか。
【正解の解説】
モデルの重みベクトルのうち、値が非ゼロである要素の数を数えて罰則項として加算する手法である。
クローゼットの洋服の数そのものを減らしてスッキリさせるようなアプローチです。使っていない服は完全に捨ててしまう感覚で、本当に重要な特徴量だけを残し、不要な重みをスパッとゼロにしてしまうため、モデルを極限までシンプルに保つことができます。
スポンサーリンク
【その他の選択肢の解説】
モデルの重みベクトルのうち、絶対値の総和を計算して罰則項として目的関数に加算する手法である。
初学者が最も混同しやすいL1正則化の特徴です。L1はダイヤモンド型の制約領域を持つため重みがぴったりゼロになりやすい性質を持ちますが、計算するのは「絶対値の総和」であり、要素数そのものを数えるL0とは計算方法が異なります。
モデルの重みベクトルのうち、各要素の二乗和を計算して罰則項として目的関数に加算する手法である。
L2正則化は重みをゼロにするのではなく、全体的に小さく均してモデルの急激な変化を防ぐ手法です。円形の制約領域を持つため重みがゼロにはなりにくく、「要素数を数える」L0や「絶対値を使う」L1とは数式的なアプローチが根本的に異なります。
モデルの重みベクトルのうち、値がゼロである要素の数を数えて罰則項として目的関数に加算する手法である。
L0正則化は「使っていない不要な重み（ゼロの数）が多いほど良いモデル」とするのではなく、逆に「余計な変数を使わない（非ゼロの数を最小限にする）」ことでモデルを単純化します。ゼロの数を数えて罰則を課すと、むしろ不要な変数を増やすようにペナルティが働くため本末転倒になります。