問題 No.1316
エッジデバイス向けにモデルを軽量化する際、予測性能が高い巨大な教師モデルが出力する確率分布を手本として、構造が小さい生徒モデルに学習させ、精度低下を抑えながらモデルを圧縮する手法はどれか。
【正解の解説】
知識蒸留
知識蒸留（Knowledge Distillation）は、高い表現力を持つ大型の「教師モデル」が出力する分類確率（ソフトターゲット）を目標値として、構造の小さな「生徒モデル」を訓練する圧縮手法です。小型でありながら高い汎化性能を持ったエッジ向けモデルを作成できます。
スポンサーリンク
【その他の選択肢の解説】
量子化
量子化（Quantization）は、モデルの重みパラメータのビット精度を低く（例：32bit浮動小数点から8bit整数へ）切り詰めることで、精度低下を抑えつつメモリ容量と計算コストを削減する技術です。親モデルから子モデルへと知識を転写する技術ではありません。
プルーニング
プルーニング（Pruning / 枝刈り）は、学習済みモデルのパラメータのうち、出力に対する寄与度が著しく低い（重みが0に近い）エッジやノードを物理的に削除する手法です。教師・生徒モデル間で確率分布を学習させる手法とは異なります。
ファインチューニング
ファインチューニング（Fine-tuning）は、事前学習済みのモデル全体の重み（または最終層付近）を特定の専門タスクデータでわずかに更新・再学習させる技術です。モデルのサイズを劇的に軽量化・圧縮するための手法ではありません。