問題 No.2587
マルチエージェント強化学習に関する記述として、最も不適切なものを1つ選べ。
【正解の解説】
環境内のすべてのエージェントが単一の巨大な報酬を共有するため、エージェント間の利害対立やクレジットアサインメント問題が発生しない。
会社組織で全員に同じボーナスが出ても「誰が一番貢献したか」でもめるのと同じです。マルチエージェントでは報酬が共通でも、どのエージェントのどの行動が結果に貢献したかを特定するクレジットアサインメント問題や、自己利益を優先する利害対立は必ず発生するため、この記述は誤りとなります。
スポンサーリンク
【その他の選択肢の解説】
各エージェントが局所的な観測情報のみに基づいて方策を学習するため、部分観測マルコフ決定過程における協調が困難になる。
全員が全体像を見渡せず、自分の目の前の狭い視野だけで動く状況を表しています。例えば、サッカーの選手が自分の周囲しか見えずにパスを出そうとしても、全体の戦術に合わせた協調行動が難しくなるのと同様に、部分観測環境下での学習や協調は非常に難易度が高くなります。
他エージェントの行動が環境の遷移確率に影響を与えるため、環境が非定常となり方策の収束が不安定になる。
自分以外のプレイヤーが勝手に動き回るため、自分にとっての「世界のルール」が刻々と変わり続ける状態を指します。これは、動く歩道の上でさらに他の人が自分を押すようなもので、足元が常に揺らいでいるため、最適な立ち回り（方策）をなかなか学習しきれず不安定になります。
集中型学習と分散型実行のパラダイムを用いることで、訓練時には全体の情報を使いながら実行時には個別判断が可能になる。
監督が全員の動きを俯瞰して作戦（学習）をつけ、実際の試合（実行）では選手個人の判断に任せるような手法です。訓練時は全体情報を使って賢いモデルを作り、実行時は各エージェントが自分のセンサー情報だけで素早く判断できるようにする、マルチエージェント強化学習の強力なアプローチです。