問題 No.1305
ディープラーニングモデルをスマートフォンなどの組み込みデバイスに実装する際、計算資源やメモリ容量の制限をクリアするためモデルの軽量化が行われる。このうち、モデルの精度にほとんど寄与していない、重みの値がゼロに近い不要な結合やニューロン自体を物理的にネットワークから削除する手法を何と呼ぶか。
【正解の解説】
プルーニング
プルーニング（Pruning / 枝刈り）は、学習済みモデルの重みの中から、値が小さく予測精度にほとんど影響を与えていない不要な結合（エッジ）やニューロン（ノード）を物理的に削ぎ落とす手法です。パラメータ数を劇的に減らしてモデルを軽量・高速化できます。
スポンサーリンク
【その他の選択肢の解説】
量子化
量子化（Quantization）は、重みパラメータの保持精度を32ビット浮動小数点数（FP32）から8ビット整数（INT8）などに変換して定数化する技術です。パラメータの「桁数」を減らして軽量化する技術であり、パラメータそのものを削除・間引く技術ではありません。
知識蒸留
知識蒸留（Knowledge Distillation）は、高精度な大規模モデル（教師モデル）が出力するソフトターゲット（確率分布）を手本にして、パラメータ数の少ない小型モデル（生徒モデル）を学習させる手法です。既存ネットワークの不要な枝を削除する手法とは異なります。
早期終了
早期終了（Early Stopping）は、学習の最中に検証データの損失（Validation Loss）を監視し、過学習によって誤差が上昇し始めたタイミングで学習を自動ストップするアルゴリズムです。モデルの重みや構造を削って組み込み機器用に軽量化する技術ではありません。