問題 No.2724
機械学習におけるアンサンブル学習のアルゴリズムの一つであるブースティングを代表する具体的な実装例として、最も適切なものはどれか。
【正解の解説】
勾配降下法を用いて損失関数の最小化を行いながら決定木を順番に構築していく勾配ブースティングである。
これはまるで、最初の試験で間違えた苦手な問題だけを次のテストで集中的に復習し、段階的に点数を上げていく勉強法のようなものです。一人の天才に頼るのではなく、凡人がリレー形式でミスを修正し合ってチーム全体で完璧な回答に近づいていくイメージを持つと、ブースティングの本質がスッと理解できます。
スポンサーリンク
【その他の選択肢の解説】
複数の決定木を独立して並列に構築し、その予測結果の多数決によって過学習を抑制するランダムフォレストである。
ランダムフォレストはみんなの意見を同時に聞いて多数決をとる「民主主義」のスタイルですが、ブースティングは先輩の失敗を後輩が引き継いで改善する「体育会系の上下関係」スタイルです。どちらも決定木を使いますが、学習の進め方が並列か直列かという決定的な違いを試験では見破る必要があります。
単純ベイズ分類器を弱学習器として用い、各特徴量の条件付き独立性を仮定しながら逐次的に重みを更新していくAdaBoostである。
AdaBoostはブースティングの歴史的な名人ですが、一般的には決定木を弱学習器として組み合わせることが多く、単純ベイズを前提とするわけではありません。用語の一部が正しいだけに、知っている単語に飛びついてしまう初学者がよく引っかかるように巧妙に作られた引っかけ問題です。
入力データの次元削減を目的として主成分分析を繰り返し適用し、最大分散方向へデータを順次射影していく勾配法である。
勾配という言葉や順次という響きが「勾配ブースティング」に似ていますが、こちらはデータの次元削減を行う数学的手法です。機械学習のアルゴリズムを学習し始めた初期は、このように漢字の雰囲気が似ている全く別の用語と混同しやすいので、目的が予測なのか要約なのかを常に意識することが大切です。