問題 No.2805
強化学習の枠組みにおいて、環境の動特性や価値関数を経由せず、行動選択の確率を定義する方策のパラメータを報酬の期待値に関する微分値に基づいて直接調整し、期待収益の最大化を目的として最適化を図る一連の学習手法を何というか。
【正解の解説】
方策勾配法
人間が自転車の乗り方を覚えるときに似ています。細かい理論を計算するのではなく、「右に曲がったら転びかけたから次は確率を下げよう」「うまく進んだからこの動作の確率を上げよう」と、結果をもとに自分の行動のクセをダイレクトに修正していくアプローチです。複雑な状況でも直接最適な動きを学べるため、ゲームやロボット制御で広く使われています。
スポンサーリンク
【その他の選択肢の解説】
価値反復法
方策勾配法が「行動の確率を直接チューニングする」のに対し、価値反復法は「場所ごとの点数（価値）を計算し尽くしてから動きを決める」というアプローチです。問題文にあるような「行動選択の確率を直接パラメータで調整する仕組み」ではなく、あくまで価値関数をベースにする点が決定的な違いです。
関数近似法
これは状態や価値の推定を効率化するための「道具や手法の総称」であり、問題文にあるような方策を直接最適化する学習手法そのものを指す言葉ではありません。関数近似法は方策勾配法の中で確率を計算する際にも使われることがありますが、概念のレイヤーが異なるための誤答選択肢となっています。
状態遷移法
これは強化学習の環境側が持つ「物理法則やルール（次に来る状態を決める確率）」のことであり、エージェントが学習するアルゴリズムではありません。初学者がアルゴリズムの名前と環境の性質を示す用語を混同しやすい点を突いた典型的な出題者の罠です。