問題 No.2486
強化学習において、価値関数を介さずに、エージェントが各状態でどの行動を選択すべきかを表す方策を直接パラメータ化し、報酬の期待値を最大化するように勾配法を用いて最適化するアルゴリズムの総称はどれか。
【正解の解説】
方策勾配法
人間が自転車に乗る練習をする際、「今この瞬間の状態からどちらにハンドルを切るべきか」を体の感覚で直接微調整しながら上達していくようなものです。価値関数という「点数表」をいちいち計算せず、行動そのものの確率を勾配上昇法で直接アップデートするため、連続値の行動空間や確率的な方策を扱う問題に非常に強いという特徴を持っています。
スポンサーリンク
【その他の選択肢の解説】
価値反復法
方策勾配法が「行動のやり方を直接うまくしていく」のに対し、価値反復法は「場所ごとの点数表を完璧に埋める」ことに重きを置きます。すべての状態と行動の組み合わせを網羅的に計算する必要があるため、チェスや囲碁のように状態が膨大すぎる現実的な問題では計算パンクを起こしやすい点が決定的な違いです。
Q学習法
レストランのメニューごとに「これを選んだら将来どれくらい美味しい思いができるか」というスコアを記録・更新していくようなものです。方策そのものを直接パラメータ化する方策勾配法とは異なり、まず価値を求めてからそこから行動を導くアプローチであるため、連続値の複雑な行動を扱うことが苦手という制限があります。
方策反復法
「現状の方策でとりあえずシミュレーションしてみて点数をつけ（評価）、その結果をもとに方策をより良いものに書き換える（改善）」という手順をパズルのようにカチカチと段階的に解いていくアプローチです。滑らかにパラメータを連続変化させて最適化する方策勾配法とはアルゴリズムの設計思想が異なります。