問題 No.1747
人工知能の歴史や発展において、2対の人工知能が互いに競い合うことで学習を進める仕組みや、その対戦シミュレーション等に関連して言及されることのある「デュエリングネットワーク（Dueling Network）」のアーキテクチャの特徴に関する記述として、最も適切なものはどれか。
【正解の解説】
強化学習において、状態価値関数とアドバンテージ関数を別々に推定し、最終的にそれらを統合してQ関数を計算する構造を持つ。
デュエリングネットワークは、状態そのものの価値と各行動の相対的な優位性を別々に学習し、最後に統合することで効率的な方策獲得を可能にする強化学習の重要なアーキテクチャであり、実務の現場でも高い評価を得ている。
スポンサーリンク
【その他の選択肢の解説】
2つの異なるニューラルネットワークがゲームの勝敗を競い合うように学習を進める、敵対的生成ネットワークの初期発展形である。
GANは2つのネットワークが勝敗や生成・識別を競い合うが、デュエリングネットワークは強化学習における価値関数の表現力を高める内部構造の工夫であり、まったく異なる概念を混同させようとしている。
生成ネットワークと識別ネットワークが互いの能力を向上させるために、ゼロサムゲームの理論を用いて競合的に学習する手法である。
GANの基本原理を述べており、デュエリングネットワークという強化学習の用語の定義とは完全に異なるため、用語の混同を誘う巧妙な誤答として配置されている。
複数のエージェントが同一の環境内で報酬を最大化するために、互いの行動を敵対視して妨害し合うマルチエージェント強化学習のアルゴリズムである。
マルチエージェントや敵対的という言葉の響きから、文脈を拡大解釈させて誤認を誘うための選択肢であり、デュエリングネットワークの本質的なアーキテクチャとは関係がない。