問題 No.1666
ニューラルネットワークの学習において用いられる「交差エントロピー誤差関数」の定義として、最も適切なものはどれか。
【正解の解説】
正解ラベルの確率分布とモデルが予測した確率分布との間の差異を、KLダイバージェンスを用いて算出する損失関数
交差エントロピーは情報理論に基づき、正解と予測の分布間のズレをKLダイバージェンスに関連づけて評価する指標であり、分類問題の学習において標準的に利用されます。
スポンサーリンク
【その他の選択肢の解説】
正解ラベルとモデル出力値との間の二乗平均平方根に基づき、予測値の分散を最小化する損失関数
MSEは回帰問題でよく用いられる指標であり、交差エントロピー誤差とは計算対象となる確率分布の性質が異なります。
正解ラベルに対する予測の確信度を対数変換し、モデルの重みパラメータのL2ノルムを最大化させる損失関数
L2ノルムの最大化は過学習を促進する方向であり、損失関数の目的とは異なります。また、分類の誤差計算に直接関係する定義ではありません。
正解ラベルが保持するエントロピー値を基準として、予測値との差分をとることで分類境界線のマージンを最大化する関数
マージンの最大化はSVMなどのアルゴリズムの目的関数であり、交差エントロピー誤差関数は出力層の確率分布との距離を測るものであり、マージン最大化とは異なります。