問題 No.1140
画像を入力として受け取り、その内容を説明するテキストを出力するタスクである「画像キャプション生成」の一般的なモデル構造に関する記述として【不適切なもの】はどれか。
【正解の解説】
入力された画像は一度音声データに変換されてから文章として翻訳される
画像キャプション生成処理は、画像から直接言語モデルの潜在空間（ベクトル表示）へマッピングし、単語の生起確率に基づいてテキストを出力します。無関係な「音声データ」を経由することは処理速度や精度の面でデメリットしか存在せず、完全に事実と異なる誤りです。
スポンサーリンク
【その他の選択肢の解説】
画像の特徴抽出にはCNNがよく用いられる
画像キャプション生成モデルにおいて、入力画像から視覚的な特徴（物体や背景、位置関係など）をコンパクトなベクトルとして抽出する役割（エンコーダ）には、CNN（ResNetやEfficientNetなど）やVision Transformerが好適に使用されます。
文章の生成にはRNNやTransformerがよく用いられる
エンコーダが作成した画像特徴ベクトルを受け取り、「A dog is running...」のように単語を順番に予測して自然言語の文章を出力する役割（デコーダ）には、時系列データを扱えるRNN（LSTM）やTransformer（GPT構造）が適用されるのが一般的です。
エンコーダ・デコーダモデルの枠組みを用いて実装されることが多い
画像キャプション生成は、異なるモダリティ（画像からテキスト）への変換を行うタスクであるため、入力をベクトル化するEncoderと、そこから目的の出力を生成するDecoderを組み合わせた「Encoder-Decoderモデル」として実装するのが最も一般的です。