問題 No.1290
エッジデバイスのような計算資源やメモリ容量が極端に制限された環境において、巨大で高精度な大規模モデルと同等の推論性能を発揮させたい。大規模な教師モデルが出力する各クラスへの確率分布の傾向を目標値として、構造が小さく軽量な生徒モデルに学習させることで、精度低下を抑えつつモデルを劇的に圧縮する手法はどれか。
【正解の解説】
知識蒸留
知識蒸留（Knowledge Distillation）は、高精度な大規模モデル（教師モデル）が出力する確率分布（ソフトターゲット）を目標値として、構造の小さなモデル（生徒モデル）に学習させる技術です。生徒モデルは軽量でありながら、教師モデルと同等の高い汎化能力を獲得できます。
スポンサーリンク
【その他の選択肢の解説】
プルーニング
プルーニング（Pruning / 枝刈り）は、ネットワーク内の重要度の低いパラメータ（重みが0に近いもの）を物理的に削ぎ落とすことでモデルの容量と計算量を減らす手法です。巨大な教師モデルの確率分布を小型モデルに学ばせる技術とは異なります。
量子化
量子化（Quantization）は、重みパラメータの型を32ビット浮動小数点数から8ビット整数などに変換することで、メモリ使用量を大幅に削減し計算を高速化する手法です。モデル構造自体を小型化・継承する蒸留とはアプローチが異なります。
転移学習
転移学習（Transfer Learning）は、ある領域で学習した知識（モデルの重み）を出発点として、ドメインの異なる別のタスクに適用する技術です。巨大モデルの知識を小さなモデルへと転写して圧縮・軽量化することを直接の目的とした技術ではありません。