問題 No.1833
大規模なデータセットで事前学習されたモデルのパラメータを、特定の目的や下流タスクに向けて追加で最適化するファインチューニングにおいて、モデル全体の重みを更新する代わりに、ごく一部の新しいパラメータのみを追加して効率的に適応させる手法の総称はどれか。
【正解の解説】
パラメータ効率の良いファインチューニング
家を丸ごと建て替えるのではなく、壁紙の一部だけを貼り替えて部屋の雰囲気をガラリと変えるようなリフォーム術です。巨大なAIモデルの大部分(ベース部分)はそのまま触らずにいじり、ほんの数パーセントの追加パーツだけを調整するため、膨大な計算コストやメモリを劇的に節約できるのが最大のメリットです。
スポンサーリンク
【その他の選択肢の解説】
タスク非依存のプロンプトベース学習
問題文が求めているのは「新しいパラメータを追加して重みを効率的に適応させる仕組み(PEFTなど)」ですが、こちらはモデルの重み自体は一切変えずに、入力するテキスト(指示文)の工夫だけでAIを導こうとするアプローチです。アプローチの方向性が異なるため混同に注意が必要です。
レイヤー選択型のフルファインチューニング
フルファインチューニングはモデル全体の重みを更新するため、計算コストが非常に高くなります。「レイヤー選択型」と銘打っていますが、結局は既存の全パラメータを対象に網羅的な調整を行うため、効率化を目的とした本問の手法とは真逆の発想になります。
アーキテクチャ改良型のモデル量子化
モデル量子化は、AIの頭脳である数値を32ビットから16ビットや8ビットへとコンパクトに圧縮し、省メモリ化を図る技術です。学習の効率化ではなく、保存や推論のサイズを小さくするための技術であるため、ファインチューニングの文脈とは目的が異なります。