問題 No.1737
機械学習におけるアンサンブル学習の手法の一つである「AdaBoost」に関する説明として、最も適切なものはどれか。
【正解の解説】
直前の弱仮説が誤って分類したデータに対して重みを大きくし、そのデータに焦点を当てた次の弱仮説を順次直列に生成して統合する手法である。
AdaBoost（Adaptive Boosting）は、誤分類されたデータに対して次回の学習時の重みを指数関数的に高めることで、モデル全体の予測精度を段階的に底上げしていくブースティングの代表的なアルゴリズムであり、試験でも非常に頻出の重要概念です。
スポンサーリンク
【その他の選択肢の解説】
複数の決定木を独立に並列学習させ、それぞれの予測結果を多数決や平均化によって統合することで過学習を抑制する手法である。
これはバギングというアンサンブル手法をベースにしたランダムフォレストの説明です。AdaBoostのように直列に学習をつなげるのではなく、独立にモデルを多数作成して並列に処理する点が異なるため不適切です。
データセットから復元抽出を繰り返して複数のサブセットを作成し、それぞれに対して独立にベースモデルを訓練して統合する手法である。
これはブートストラップサンプルを生成してモデルを並列に訓練するバギング（あるいはランダムフォレストのデータ生成プロセス）の説明です。データの重みを動的に変更して直列に学習させるAdaBoostとはアプローチが根本的に異なります。
すべての学習データに対して均等な重みを与えつつ、勾配降下法を用いて損失関数の残差を最小化するように弱学習器を直列に足し合わせていく手法である。
データに動的な重みをつけて誤りを修正していくAdaBoostに対し、損失関数の勾配（残差）を次のモデルで予測して足し合わせていくのは勾配ブースティング木（GBDT）の特徴であり、混同しやすいので注意が必要です。