問題 No.3515
ディープラーニングのモデル圧縮技術において、探索空間やネットワーク構造を効率的に最適化するため、あらかじめ設定した閾値よりも重要度が低いと判定された接続や演算パスを動的に削除するアプローチを何と呼ぶか。
【正解の解説】
不要な結合やノードを省いて計算効率を高める枝刈り
庭木の手入れで伸びすぎた不要な枝をハサミで切り落とす「剪定」と同じイメージです。AIモデルの中でも、予測結果にほとんど貢献していない無駄なシナプス結合やニューロンをバッサリと切り捨てることで、頭の回転を速くしつつメモリ消費量をグッと抑えることができます。
スポンサーリンク
【その他の選択肢の解説】
メモリ使用量を削減するためにモデルの重みパラメータのビット数を減らす量子化
枝刈りが「ネットワークの構造自体を削る」アプローチであるのに対し、こちらは「数字の精度（小数点以下の桁数など）を粗くする」アプローチです。例えば、32ビットの浮動小数点数を8ビットの整数に圧縮するなど、表現の細かさを落とすことで軽量化を図るため、アプローチの性質が異なります。
大規模な教師モデルの知識を模倣させて軽量な生徒モデルを構築する蒸留
構造を削るのではなく、すご腕のベテラン教師AIの思考パターンや判断のクセを、頭のコンパクトな新米生徒AIに効率よく教え込んでコンパクトなモデルを作る手法です。自らの一部を切り落とす枝刈りとは異なり、別の小さなモデルに知恵を受け継がせる点が大きな違いです。
演算処理の並列化を進めてハードウェアの処理能力を限界まで引き出す高速化
モデルの構造やパラメータをスリム化する「モデル圧縮」そのものではなく、GPUなどのハードウェア資源を効率よくフル回転させて実行スピードを上げるシステム側の工夫を指します。アルゴリズム自体をスリム化する枝刈りとはアプローチのレイヤーが異なります。