問題 No.2840
ある企業で、数百万枚の画像とそれに対応するキャプションのペアを用いてマルチモーダルモデルを訓練し、事前に定義していない未知のカテゴリの画像でもテキストプロンプトを工夫することで高精度に分類できるシステムを構築することになった。このシステムの中核として最も適切なモデルはどれか。
【正解の解説】
CLIP
人間が「これ犬だよ」と教えられなくても、犬の写真と「犬」という文字を大量に見ることで「あ、こういうのが犬なんだな」と自然に理解する仕組みです。新しい生き物を見せられても、図鑑の説明文さえあればパッと見分けられるような、言葉と視覚の天才的な辞書を頭の中に作るイメージです。
スポンサーリンク
【その他の選択肢の解説】
BERT
BERTは「文章の穴埋め」や「文脈の理解」が得意なテキスト専用の優等生です。今回は画像とテキストをセットで扱う必要があるため、文章しか読めないBERTだけでは対応できず、画像と文字をクロスして結びつける今回の要件からは外れてしまいます。
ResNet
ResNetは「写真に何が写っているか（猫か犬かなど）」を当てる画像専用のベテラン鑑定士です。ただし、あらかじめ決められたカテゴリしか分類できず、今回求められている「テキストプロンプトを使って未知のカテゴリを柔軟に認識する」というマルチモーダルな機能は備わっていません。
DCGAN
DCGANは、警察の似顔絵描き職人のように「こういう画像を新しく作って！」と頼まれて本物そっくりの偽物画像を生成するのが仕事です。画像を見て種類を当てたり、テキストと言葉の意味を結びつけたりする仕組みではないため、今回の画像分類システムの中核としては全く目的が異なります。