問題 No.3258
高次元の高解像度画像から、ロボット制御や強化学習に有用な低次元の潜在変数を教師なしで抽出し、環境のダイナミクスを効率的にモデル化するために利用されるアプローチとして、最も適切なものはどれか。
【正解の解説】
観測データからタスクに重要な本質的特徴を抽出する状態表現学習
人間が部屋の片付けをする時、網膜に入る膨大な光の情報をそのまま処理するのではなく、「あそこにあるのは赤いリンゴだ」と要点だけを脳内でコンパクトにまとめて判断しています。これと同じように、AIもカメラ映像という山のようなピクセルデータから、ロボットの腕を動かすのに必要な位置や障害物といった「本質的なエッセンス」だけをギュッと圧縮して抜き出すのが状態表現学習です。これにより、学習効率が劇的に向上します。
スポンサーリンク
【その他の選択肢の解説】
高次元画像から直接方策を最適化して方策の一般化性能を高めるエンド端強化学習
エンドツーエンド学習自体は強力なアプローチですが、カメラ画像のような膨大な情報から直接ロボットの手の動かし方を学ぼうとすると、必要なデータ量と計算コストが爆発的に膨れ上がります。状態表現学習のように、まず一度コンパクトな状態（要約版）を作ってから制御を考えるステップを踏む点が大きな違いであり、初学者が混同しやすいポイントです。
観測された時系列データから未来の報酬関数のみを直接予測する逆強化学習
逆強化学習は「ベテランの運転手のハンドルさばき」などの見本を見て、「この人は何が嬉しくて（どういう報酬を得たくて）この運転をしているのだろう？」と目的を逆算する技術です。問題文にあるような「画像という高次元データからロボット制御用のコンパクトな変数を抽出する」という環境のモデル化の話とは、目的もアプローチも全く異なるため誤りとなります。
入力画像内の各物体の物理的境界を高精度に特定する教師なしセグメンテーション
教師なしセグメンテーションは、写真に写る「犬」や「背景」といった領域をパズルのピースのように綺麗に切り分けるコンピュータビジョンのタスクです。確かに画像処理の技術としては関連しますが、ロボットが物理環境を効率的に制御・学習するための「ダイナミクスのモデル化や潜在変数の抽出」という強化学習の文脈で求められるアプローチそのものではないため不適切です。