問題 No.1680
あるデータセットに対して、真の分布を近似するモデルのパラメータを学習させる際、機械学習のアルゴリズムにおいて「モデルの出力分布」と「真の確率分布」の間のKLダイバージェンスを最小化することと等価な処理はどれか。
【正解の解説】
正解のラベルとモデルの予測確率の間の交差エントロピー誤差を最小化すること
KLダイバージェンスは D_KL(P||Q) = H(P, Q) - H(P) で表され、真の分布 P が固定されている場合、KLダイバージェンスの最小化は交差エントロピー H(P, Q) の最小化と等価になります。
スポンサーリンク
【その他の選択肢の解説】
モデルのパラメータ更新における二乗和誤差の総和を最大化すること
二乗和誤差は主に回帰問題で用いられる指標であり、確率分布の比較に用いるKLダイバージェンスの最小化とは数学的な目的と構造が異なります。
予測された確率分布の平均値と中央値を一致させるように調整すること
平均値や中央値の一致は分布の形状の類似性を必ずしも保証せず、KLダイバージェンスの定義に基づいた直接的な最小化手法とは言えません。
学習データにおける特徴量の相関係数の絶対値を最大化すること
相関係数は変数間の線形関係を示す指標であり、確率分布の差異を測るKLダイバージェンスを直接的に最小化する操作とは直接的な関係がありません。