問題 No.3007
強化学習における行動価値関数に関して、その説明として不適切なものを一つ選べ。
【正解の解説】
ある状態において特定の行動を選択したとき、その時点から得られる報酬の現在価値のみを表し、将来得られる報酬の割引総和は考慮しない。
行動価値関数は、今の一歩だけでなく「この先どうなるか」の未来予測までセットで評価するものです。例えば、目の前の小さな得だけでなく、将来の大きなボーナスまで見据えて今日の行動を選ぶ人生の賢い選択に似ています。したがって、現在価値の報酬のみを対象とする本選択肢は行動価値関数の定義として不適切です。
スポンサーリンク
【その他の選択肢の解説】
ある状態において特定の行動を選択したとき、その時点から得られる即時報酬と、その後の最適な方策に従って得られる将来報酬の割引総和を表す。
強化学習のQ関数とも呼ばれるもので、ある状況でその行動をとった際にもらえる「今すぐの報酬」と、その後に待ち受ける「未来の報酬の合計」を合算して評価します。目先の利益だけでなく、将来のトータルの得まで計算し尽くす優秀なコンサルタントのような役割を持つ重要な概念です。
状態価値関数とは異なり、環境から受ける報酬の期待値を状態のみに依存して計算し、選択する具体的な行動の種類には依存しない。
「状態価値関数」は、その場所にいること自体の良さを表し、次にどんな行動をとるかは含めません。一方で「行動価値関数」は、その場所で「どの行動をとるか」までをセットで評価するため、行動の種類に依存しないとする本記述は状態価値関数との混同を狙った典型的なひっかけ問題です。
エージェントが特定の状態に留まる確率を表すものであり、環境モデルの遷移確率を計算するために用いられる確率分布である。
確率や滞在確率そのものを表すものではなく、あくまで「その行動をとると最終的にどれだけの報酬（点数）が得られるか」という価値を数値化する関数です。確率の話と価値の話をごちゃ混ぜにする初学者が陥りやすい罠であり、用語の役割を正確に区別する必要があります。