問題 No.2359
強化学習において、ある状態からどのような行動を選択すべきかを定義する確率や規則の集合のことを何と呼ぶか。
【正解の解説】
方策
方策は、人間でいう「状況判断のクセ」や「性格・戦略」に例えられます。例えば、目の前に美味しそうな食べ物（状態）があったとき、「すぐに食べる（行動）」か「我慢して後で食べる（行動）」かを決める脳内のルールブックが方策です。AIはこの方策を試行錯誤しながら少しずつ洗練させ、最終的に最善の行動選択ができるように学習を進めていきます。
スポンサーリンク
【その他の選択肢の解説】
価値関数
これは「行動のルール」そのものである方策とは異なり、「その状況がどれくらい良いことなのか」を点数化する評価基準を指します。初学者は行動を決めるルールと、その結果を評価するスコアを混同しやすいため出題されやすいポイントです。価値関数を参考にしながら、より良い方策へとアップデートしていく関係にあります。
環境モデル
これは行動の選択ルールを指す方策とは異なり、AIにとっての「ゲームのルールブックや物理法則のシミュレータ」に該当します。例えば、麻雀AIが「次に相手がどの牌を切るか」を予測するような内部モデルがこれにあたります。実際の行動ルールを決定する方策とは役割が全く異なるため注意が必要です。
報酬設計
これはAIが自ら学習する際の「ゴールや採点基準のルール作り」であり、状態から行動を選ぶ確率の集合である方策とは次元が異なります。例えば、迷路を早く抜けたら＋10点、壁にぶつかったら−5点といったルールを決めるのが報酬設計であり、それを踏まえてどう動くかを決めるのが方策という違いがあります。