問題 No.2751
強化学習におけるノイジーネットワーク（NoisyNet）に関する記述として不適切なものを一つ選べ。
【正解の解説】
方策の多様性を担保するために、環境からの報酬に依存する確率的なガウスノイズを状態空間全体に一律で直接加える手法である。
ノイジーネットワークは状態に対して直接ノイズを足すのではなく、AIの頭脳であるニューラルネットワークの結合ウェイト（重みやバイアス）にノイズを組み込みます。料理に例えると、完成したスープに後から塩を振りかけるのではなく、隠し味のスパイスをレシピの分量自体にあらかじめ混ぜ込んでおくようなものであり、ここが決定的な違いです。
スポンサーリンク
【その他の選択肢の解説】
方策の多様性を担保するために、ネットワークの重みやバイアスなどのパラメータ空間に確率的なノイズを付加する手法である。
この選択肢こそが問題文が「不適切」として求めている正解そのものになります。ネットワークの内部パラメータである重みやバイアスに学習可能なノイズを加えることで、AIが自律的に探索と利用のバランスを調整できるようになり、従来のランダムな行動選択よりも効率的な学習が可能になります。
方策の多様性を担保するために、行動選択の確率分布に対して直接エプシロン・グリーディ法によるランダムな選択を適用する手法である。
エプシロン・グリーディ法は一定の確率で完全にランダムな行動をとる手法であり、ノイジーネットワークのようにネットワーク内部のパラメータを確率的に変動させる仕組みとはアプローチの根底が異なります。AIが自ら考えて探索を行うのではなく、外側から強制的にサイコロを振って行動を変えさせている点が決定的な違いです。
方策の多様性を担保するために、勾配降下法による学習の更新過程において過学習を防ぐ目的のドロップアウトを適用する手法である。
ドロップアウトは学習時にニューロンをランダムに無効化して汎用性を高める手法ですが、ノイジーネットワークの目的である「強化学習における効率的な方策の探索」とは役割が異なります。どちらもネットワークにノイズ的な要素を導入するため初学者は混同しやすいですが、目的と仕組みが全く異なる点に注意が必要です。