問題 No.2431
機械学習における二値分類モデルの予測精度を評価する手法として、ROC曲線を作成した上で、その曲線より下部の領域の面積を計算し、確率的な順位付けの正しさを評価するために用いられる指標はどれか。
【正解の解説】
AUC
学校のテストに例えると、全生徒の中からランダムに「合格者」と「不合格者」を1人ずつ選んだとき、モデルが合格者のほうにより高い点数をつけていた確率がどれくらいかを測る指標です。つまり、パッと見の正解率だけでなく、「どれだけ自信を持って正しくランク付けできているか」を評価できるため、クラスの生徒の並び替え能力を成績表全体の傾向として見たいときに非常に便利です。
スポンサーリンク
【その他の選択肢の解説】
PRC
AUCがROC曲線をベースにしているのに対し、PRCは適合率と再現率の関係をグラフにします。例えば、砂漠の中から1本の針を見つけるような「圧倒的に珍しい現象（レアケース）」を予測する際には、通常のROC曲線だと見た目の性能が良く見えすぎてしまうため、こちらのPRCやその面積が選ばれるという出題者の罠や混同ポイントに注意が必要です。
RMSE
これは「明日の気温を何度と予測するか」といった数値を当てる回帰モデルの正確さを表すために使われます。本問のAUCが「合格か不合格か」という確率的な順位付けや二値分類を評価するのに対し、RMSEは「どれだけズレたか」という実数データの誤差を直感的に表すため、問題文にある「二値分類」や「確率的な順位付け」というキーワードとは全く異なる場面で登場します。
ROC
よくある勘違いとして「グラフそのもの」と「そのグラフの面積を表す指標の名前」を混同してしまうケースがあります。例えるなら、ROCは「日本列島の地図の形」そのものを指し、AUCはその地図がどれくらいの面積（広さ）を持っているかを表す数値データのような関係になっています。問題文にある「面積を計算し、評価するために用いられる指標」という部分を読むと、グラフではなくその先の結果であるAUCを選ぶ必要があります。