問題 No.1742
2つの確率分布の間の類似度や距離を測る指標として用いられる「イェンゼン・シャノン情報量（Jensen-Shannon divergence）」に関する記述として、最も適切なものはどれか。
【正解の解説】
カルバック・ライブラー情報量（KLダイバージェンス）をベースとしており、対称性を満たすように拡張された指標である。
カルバック・ライブラー情報量は非対称かつ片方がゼロの時に破綻しますが、イェンゼン・シャノン情報量ではそれらを平均的な分布との距離で測ることで対称性を持ち、機械学習などで類似度や距離の指標として非常に実用的な値となります。
スポンサーリンク
【その他の選択肢の解説】
2つの確率分布が完全に一致するときに最大値を取り、分布が離れるにつれて値が小さくなる特性を持つ。
イェンゼン・シャノン情報量は2つの分布が完全に一致するときに情報量の差がなくなるため、最小値であるゼロを取ります。分布が離れるにつれて値が大きくなる特性があるため、この記述は逆の仕組みを述べており誤りです。
確率分布間の情報量の差異を計算するが、非負性の条件を満たさないため、負の値を取ることもある。
情報理論におけるダイバージェンスの多くは非負性を持ちます。イェンゼン・シャノン情報量も常に0以上の値を取り、完全に一致したときのみ0になり、異なるほど大きな正の値を示します。
2つの確率分布の間で確率変数が同一の台（サポート）を持たない場合でも、無限大の発散を起こさず常に定義可能である点のみが特徴であり、三角不等式を満たす。
カルバック・ライブラー情報量で問題となる片側がゼロの場合の発散を防ぐ優れた点を持っていますが、平方根を取ることでようやく距離の公理を満たすようになる特殊な指標であり、そのままでは三角不等式を満たしません。