問題 No.2688
機械学習におけるモデルの汎化性能を評価するための手法としてホールドアウト法を用いる際、その手順や特徴に関する記述として不適切なものはどれか。
【正解の解説】
手元にある全てのデータを余すことなく学習とテストの両方に同時に使用し、その平均精度を最終的なモデルの評価値とする。
これはテストの前に答えを丸暗記してしまうような状態で、学校の模擬試験の直前に全く同じ問題と解答を先生から配られてテストを受けるようなものです。これでは生徒が本当の応用力を身につけたか測れないのと同様に、未知のデータに対する正しい予測性能（汎化性能）を評価できません。学習用とテスト用は厳格に分離する必要があります。
スポンサーリンク
【その他の選択肢の解説】
手元にあるデータを予め訓練用とテスト用に分割し、訓練用データのみを用いてモデルの構築とパラメータの最適化を行う。
これは学校の期末テストに向けて、教科書を使って勉強する段階と、何も見ずに実力を試す模擬試験の段階を最初にしっかり分ける作業と同じです。モデルは訓練用データという見慣れた教科書だけで勉強し、テスト用データは本番まで絶対に見せないことで、初めて見た問題でも解ける本当の地力を正しく測ることができます。
手元にあるデータを訓練用とテスト用に分割し、テスト用データを用いて未知のデータに対する予測性能を客観的に評価する。
これは運転免許の仮免試験で、教習所のコース内（訓練用）で練習を重ねたあと、実際に一般道路（テスト用）に出て安全に運転できるかを厳しくチェックされるのと同じです。人間社会でも過去問だけではなく初見の問題を解かせることで実力を測るように、AIにおいても未知のデータでテストすることが絶対に欠かせません。
手元にあるデータを複数のグループに分割し、それぞれを順番にテスト用データとして用いた検証を繰り返し平均を算出する。
これは一発勝負の模擬試験（ホールドアウト法）ではなく、クラス替えをしながら何度もテストを繰り返して平均点を取る交差検証（クロスバリデーション）の仕組みです。ホールドアウト法はデータをただ一回スパッと分けるシンプルな手法であるため、この選択肢のように何度も繰り返すアプローチは別の高度な検証手法と混同させるための罠となっています。