問題 No.3532
強化学習の枠組みであるREINFORCEアルゴリズムに関する記述として、不適切なものを1つ選べ。
【正解の解説】
価値関数を直接近似して学習を行う手法であり、方策関数を一切利用しない。
REINFORCEは「次にとる行動の確率」を表す方策関数を直接チューニングする手法です。これは料理のレシピそのものを直接改良するようなものであり、料理の美味しさの点数ばかりを見積もる価値関数ベースの手法とはアプローチが根本的に異なります。したがって、方策関数を利用しないという記述は誤りとなります。
スポンサーリンク
【その他の選択肢の解説】
方策勾配法の一種であり、報酬の期待値を最大化するように方策のパラメータを更新する。
REINFORCEは方策勾配法を代表する古典的かつ非常に重要なアルゴリズムです。山登りで例えるなら、周囲の傾き（勾配）を感じ取ってより高い場所へ足を進めるように、得られた報酬が大きくなる方向へ方策のパラメータを直接グイッと更新していく仕組みを持っています。記述の内容は完全に正しいため不適切ではありません。
エピソードの終了ごとに得られた報酬の総和を用いて、モンテカルロ法ベースで勾配計算を行う。
REINFORCEでは途中の状態価値を逐一推計するのではなく、ゴール（エピソード終了）までやり切った結果として得られた報酬の総和を振り返ります。これはゴルフのラウンドがすべて終わってから「今日のスコアはどうだったか」を振り返ってフォームを修正するモンテカルロ法のやり方そのものであり、記述は正しい内容です。
状態価値関数の見積もり精度を向上させるため、行動価値関数と組み合わせて交互に最適化する。
状態価値関数をベースにして効率化を図る手法は、REINFORCEそのものではなく発展形であるアクター・クリティック法などの特徴です。REINFORCE単体では価値関数をメインで交互に最適化するような複雑な構造は持たず、エピソード全体の報酬に基づき方策をダイレクトに更新するため、この記述はREINFORCEの説明としては不適切です。