問題 No.2096
強化学習における内発的報酬（Intrinsic Reward）の設計およびその性質として不適切なものを一つ選べ。
【正解の解説】
環境からの外部フィードバックに完全に依存し、エージェント自身の状態遷移の新規性を評価に用いない。
内発的報酬はゲームで言えば「新しいステージを発見したワクワク感」のようなものであり、他者からの得点（外部報酬）とは別にエージェントが自ら生み出すモチベーションです。したがって、外部フィードバックだけに依存して自身の状態の新規性を評価しないという記述は、内発的報酬の定義そのものに完全に矛盾しています。
スポンサーリンク
【その他の選択肢の解説】
エージェントが未知の状態や珍しい状態を発見した際に、環境から得られる外発的報酬に上乗せして付与される。
ゲームのクリアという外部からの得点（外発的報酬）に加え、見たことのない部屋に入ったときの自発的なご褒美（内発的報酬）を足し合わせることで、より積極的な探索を促す仕組みを説明したものであり、記述としては正しいものになります。
探索が困難なスパース報酬問題において、学習の効率を向上させるための補助的なシグナルとして活用される。
ゴールにたどり着くまで一切ヒントがない迷路のようなスパース報酬問題では、自力で進むための「珍しい場所に行ったご褒美（内発的報酬）」を補助的に与えることで、効率よく出口を見つけられるようにするアプローチとして実際に広く活用されています。
状態空間における訪問頻度の少ない領域へ誘導するため、キュリオシティ駆動などの手法に基づいて計算される。
人間の子供が「おもちゃの新しい仕掛けを知りたい」と思う好奇心（キュリオシティ）を模倣し、まだ訪れた回数の少ないレアな状態に行ったときに高い報酬を与えることで、未知の領域の探索を促す仕組みの正確な説明です。