問題 No.3720
ディープラーニングを用いた強化学習において、エージェントが環境と相互作用して得た一連の経験（状態、行動、報酬、次の状態）をバッファに蓄積し、その中からデータをランダムに抽出して学習データとすることで、データ間の時間的相関を軽減する技術の名称として、最も適切なものを選択せよ。
【正解の解説】
経験再生
人間が過去の楽しかった記憶や失敗した体験をランダムに思い出し、そこから教訓を得るような仕組みです。ゲームの連続した画面をそのまま学習すると、直前のデータに引きずられて偏った学習（過学習）になってしまうため、記憶の山からバラバラにカードを引くようにシャッフルして、AIが偏りなく賢く学べるようにする非常に重要な工夫です。
スポンサーリンク
【その他の選択肢の解説】
方策勾配
経験再生はデータの相関をなくす「データの扱い方の工夫」ですが、方策勾配法は「行動の確率をダイレクトに調整する学習アルゴリズムの仕組み」を指します。初学者は強化学習の用語がごちゃ混ぜになりやすいため、何を最適化しているのかの対象を区別して覚える必要があります。
報酬塑造
ゲームのクリアなど最終的な結果だけで評価すると、そこに至るまでの道筋が分からないAIはなかなか学習を進められません。そのため、迷路で正しい方向に進んだだけでも「褒美（エサ）」を小出しにする仕組みを指しており、過去のデータを蓄積して再利用する経験再生とは全く異なる概念です。
行動価値
Q学習などで用いられる「この状況でこのボタンを押したらどれくらい得点できそうか」という見積もり値そのものを指します。データを蓄積してランダムにサンプリングして学習する仕組みである経験再生とは意味が異なるため、用語の定義を混同しないように注意してください。