問題 No.1953
自然言語処理における文書分類や感情分析などのタスクにおいて、事前学習済みモデルの活用方法として不適切なものはどれか。
【正解の解説】
事前学習済みモデルをそのまま利用する場合であっても、対象タスクに応じた追加のラベル付きデータを用いたファインチューニングを必ず行わなければならない。
プロの料理人が作った完璧な冷凍ハンバーグ（事前学習済みモデル）を温めてすぐ出す場合もあるのに、すべてのお客さんの好みに合わせてソースから作り直さなければならないと思い込んでいる状態です。モデルの性能が非常に高ければ、追加学習なしでそのまま使うことも十分に可能です。
スポンサーリンク
【その他の選択肢の解説】
事前学習済みモデルをそのまま利用する場合においては、対象タスクに応じた追加のラベル付きデータを用いないゼロショット推論も可能である。
初学者が驚くポイントですが、最近の大規模言語モデルは一度も専門的な勉強（追加学習）をしていなくても、指示文だけで未知のタスクをこなす能力を持っています。これを「追加学習が絶対必要」と思い込んでいると、問題文の「不適切なもの」を見落としてしまいます。
事前学習済みモデルをそのまま利用する場合においては、対象タスクの固有表現抽出などに対応させるため特徴量抽出器として固定して用いる。
すでに基礎が身についた優秀な新入社員（モデル）を雇い、基本の教育は変えずに特定の事務作業（特徴量抽出）の専用アシスタントとして配置するようなものです。モデル自体のパラメータを更新せず、出力された特徴量だけを利用する手法は実務でもよく使われます。
事前学習済みモデルをそのまま利用する場合においては、対象タスクの性能をさらに向上させるために大規模な事前学習をゼロからやり直す。
すでに完成している超高層ビルを建てる際に、一部の壁の色を変えるためだけに、基礎工事からすべてを破壊してイチから建て直すような無駄な行為です。事前学習済みモデルの最大のメリットは「莫大なコストと時間をかけて作られた土台をそのまま流用できる点」にあります。