問題 No.3135
Transformerにおいて、単一の注意機構ではなく、異なる表現部分空間から情報を共同で学習するために、複数のクエリ、キー、バリューの重み行列を用いて並列に注意計算を行うメカニズムの名称として正しいものはどれか。
【正解の解説】
Multi-Head Attention
これは、1つの事件を複数の異なる専門家（刑事、心理学者、被害者など）が同時に分析するようなものです。単一の視点だと見落としてしまう言葉の繋がりや意味のニュアンスを、複数の「頭（ヘッド）」で分担して並列に読み解くことで、文章全体の複雑な文脈を深く理解できるようになります。
スポンサーリンク
【その他の選択肢の解説】
Multi-Layer Perceptron
初心者の方がMulti-Head Attentionと混同しやすいですが、MLPは特徴量を変換・非線形化するための基本的な層です。注意機構のように「言葉同士の関係性」を計算するのではなく、受け取ったデータを単純に次の層へ伝える役割を持つため、メカニズムの本質が異なります。
Cross-Attention Network
名前に「Attention」とつくため同一視されがちですが、Cross-Attentionは翻訳タスクなどで入力文と出力文の異なる情報源を結びつける際に使われます。問題文にある「複数の重み行列で並列に計算する」という自己注意の拡張機能とは目的や仕組みが異なります。
Feed-Forward Mechanism
Transformerのブロック内では注意力レイヤーの直後に配置される定番のパーツですが、これは情報を混ぜ合わせるためのサブ層であり、並列に注意を向けるMulti-Head Attentionとは役割が全く異なります。出題者はよく使われるTransformerの構成要素を混ぜて受験者を惑わせようとします。