問題 No.1591
知識蒸留において、学習済みで複雑なモデルを指し、その知識を小さなモデルに継承させる役割を持つモデルを何と呼ぶか。
【正解の解説】
教師ネットワーク
複雑で精度の高い学習済みモデルを指し、その出力分布を生徒モデルに学習させることで、モデルの軽量化や推論の高速化を図る。
スポンサーリンク
【その他の選択肢の解説】
生徒ネットワーク
教師モデルの重みを引き継ぐのではなく、出力された確率分布や特徴マップを模倣するように訓練されるモデル。
生成ネットワーク
ノイズからデータを生成し、識別ネットワークを欺くように学習を繰り返すネットワークのこと。
識別ネットワーク
生成ネットワークが作成したデータが訓練データから来たものか、偽物かを判別する役割を持つ。