スポンサーリンク

問題の解答・解説ページ

このページは解説の閲覧モードです。
実力試しをしたい方は、下のボタンからクイズに挑戦してください!

この問題をクイズ形式で解く
問題 No.4796
ある企業の研究チームが、実世界の環境におけるロボットの自律移動を強化学習を用いて開発している。従来のように現実のロボットを直接稼働させて試行錯誤を繰り返す手法では、ハードウェアの破損リスクや学習に膨大な時間がかかるという課題があった。そこでチームは、実環境の物理法則やダイナミクスを模倣する予測シミュレーターを内部に構築し、その内部表現(仮想空間)上で大量の試行錯誤を行ってから現実のロボットに方策を適用する手法を採用することにした。このアプローチで活用される、エージェントが頭の中で環境の挙動を予測するために持つ内部モデルの名称として、最も適切なものはどれか。

【正解の解説】

世界モデル

人間が自転車に乗るとき、「ここで急ブレーキをかけたら転ぶな」と頭の中でシミュレーションするのと同じです。AIの強化学習においても、現実世界でぶつかって壊れるリスクを取る前に、頭の中の仮想空間で「こう動けばこうなるはずだ」と何万回も予行練習を行うことで、効率的かつ安全に賢くなることができます。

スポンサーリンク

【その他の選択肢の解説】

知識グラフ

知識グラフは「Aという概念はBに関連している」といった静的な事実データを検索や推論に使うためのものであり、物理法則のダイナミクスを予測して試行錯誤を行う世界モデルとは目的も仕組みも全く異なります。G検定では、データの構造化手法とAIの予測・学習モデルを混同させようとする罠としてよく出題されます。

報酬マシン

報酬マシンは「今この状態だから報酬はいくつ」と判定する審判のような役割を果たしますが、エージェント自身が頭の中で環境の未来を予測する内部シミュレーション機能(世界モデル)とは役割が異なります。どちらも強化学習の周辺用語であるため、用語の意味と役割を正確に区別して覚える必要があります。

敵対的生成ネットワーク

敵対的生成ネットワークはフェイク画像やデータの作成が得意な技術ですが、エージェントが環境の未来の状態遷移を予測して意思決定や方策の最適化に利用する世界モデルとは根本的に目的が異なります。どちらもAIの高度な仕組みを表す用語ですが、強化学習の文脈で使われるかどうかに着目すると見分けやすくなります。