問題 No.1880
機械学習における特徴量設計の作業に関して、不適切なものはどれか。
【正解の解説】
ドメイン知識を活用して新たな特徴量を手動で作成する作業は、ディープラーニングの登場以降、すべての機械学習タスクにおいて完全に不要となった。
料理に例えるなら、AIは優秀な調理ロボットですが「どんな隠し味が客の好みに合うか」というレシピのアイデアを出すのは人間のプロの仕事です。どれほど技術が進化しても、業務の文脈を理解した人間が新しい切り口のデータをデータに足し込む作業は、モデルの性能を限界突破させるために不可欠であり、決して不要にはなっていません。
スポンサーリンク
【その他の選択肢の解説】
モデルの予測性能を継続的に向上させるためには、既存の生データから統計的な集約値を算出して説明変数を増やすアプローチが有効である。
これは機械学習において王道とされる極めて適切な特徴量設計の作業手順です。例えば、過去の売上データという「点」の生データから、「過去3ヶ月の平均購入金額」という「面」の統計的特徴量を自ら作り出すことで、AIが隠れたトレンドをスムーズに発見できるようになり、予測の精度が飛躍的に向上します。
過学習のリスクを抑えて汎化性能を高める目的では、相関関係の低い不要な変数を削ぎ落として次元数を削減するプロセスが極めて重要である。
部屋の中に不要な家具やゴミが溢れていると本当に必要な物が見つからないように、機械学習でも関係のない変数が多すぎるとAIが混乱して訓練データに過剰適合してしまいます。そのため、ノイズとなる変数を思い切って削ぎ落とし、本当に重要な情報だけに絞り込む次元削減は汎化性能を高める上で欠かせないプロセスです。
欠損値を含むデータセットを前処理する段階において、単に中央値や平均値で一律に補完する手法は情報損失を招くため一切避けるべきである。
実務の現場では、データの一部が欠けていることは日常茶飯事であり、最初の一歩として平均値や中央値による補完は非常に手軽で有効な手段として広く使われます。完璧な処理を求めて複雑なアプローチに固執するあまり、データの前処理が進まなくなる実務上の罠を見抜くための引っ掛け問題となっています。