問題 No.2843
強化学習において、環境の動力学モデルが未知である場合に、エージェントが実際に環境と相互作用して得た多数のサンプリング軌跡（エピソード）から得られる報酬の平均値を用いて価値関数を推定する手法の名称として、最も適切なものを1つ選べ。
【正解の解説】
モンテカルロ法
カジノのルーレットで有名なモンテカルロ法のように、実際に何回も試行錯誤して結果を集め、その平均値から正解を探るアプローチです。例えば、料理のレシピがない状態で、実際に何度も作ってみた結果の美味しかった平均を頼りに味を改善していくような、実体験の積み重ねを重視する手法です。
スポンサーリンク
【その他の選択肢の解説】
Q学習法
Q学習は「次に選ぶべき最善の行動」を1ステップごとに見積もってアップデートしていく手法です。モンテカルロ法がゲームオーバー（ゴール）までの一連の流れが完了してからまとめて振り返るのに対し、Q学習は日々の細かな反省をその都度反映させる違いがあります。
動的計画法
動的計画法は、迷路全体の地図やルール（確率や報酬の仕組み）が完璧に手元にある状態でお城の最短経路を計算する数学的なアプローチです。本問のように「ルールが分からないから実際に動いて調べるしかない」という状況では利用できません。
差分法
差分法は数学や物理シミュレーションで微分方程式を解く際に使われる用語であり、強化学習の文脈では登場しません。試験問題の選択肢として、それらしい響きを持たせるために用意されたいわゆるダミーの用語ですので惑わされないように注意してください。