問題 No.5700
強化学習において、ある状態 $s$ において行動 $a$ を選択したとき、そこから得られる即時報酬が $r = 4$ であり、その後の状態における割引率 $\gamma = 0.5$ で計算される将来の最大割引報酬和の期待値が $v(s') = 10$ であるとする。このとき、行動価値関数 $Q(s, a)$ の値として正しいものを一つ選べ。
【正解の解説】
$9$
お店で目の前の美味しそうなケーキを食べて得られる満足感（即時報酬4）と、明日以降に得られるであろう楽しみの価値（割引後の将来価値0.5×10=5）を合計した、今この瞬間のトータルの価値を計算しているイメージです。4 + (0.5 × 10) = 9 となります。
スポンサーリンク
【その他の選択肢の解説】
$14$
割引率を考慮せずに 4 + 10 = 14 と計算してしまっている点が誤りです。将来もらえる価値は時間の経過や不確実性を考慮して割引く必要があるため、そのまま足すのではなく、割引率を掛け算してから足し合わせるのが正しい手順です。
$7$
例えば即時報酬の半分と将来価値の半分を足してしまうなど、数式の意味を捉え損ねた場合に現れやすい引っ掛けの選択肢です。行動価値関数は、今の報酬に将来の価値を割引率で調整して足すという構造を正確に理解しておく必要があります。
$5$
0.5 × 10 = 5 という計算結果だけを見てしまい、目の前で得た即時報酬の 4 を足し忘れるというケアレスミスを誘うための罠です。行動価値関数は「今の報酬」と「未来の報酬の割引後期待値」のセットで構成されている点に注意が必要です。