問題 No.3277
Transformerの構造において、入力された埋め込み表現に対し、複数の異なる重み行列を適用して並列に注意機構を計算し、それぞれの出力結果を結合して線形変換を行うメカニズムの名称として正しいものはどれか。
【正解の解説】
Multi-Head Attention
これは、1つの文章を複数の専門家（例えば、文法担当、意味担当、文脈担当など）が同時に会議して分析するような仕組みです。人間が本を読むときに「登場人物の気持ち」「場所の情景」「時の流れ」を同時に意識するように、AIも複数の注意機構を並列に走らせることで、より深く複雑な文脈を一度に理解できるようになっています。
スポンサーリンク
【その他の選択肢の解説】
Cross-Attention
これは翻訳タスクなどで、翻訳元の言語と翻訳先の言語の関係性を見るために使われる「Cross-Attention」の説明です。Multi-Head Attentionが自分自身の中で多角的な関係性を見るのに対し、Cross-Attentionは異なるデータ同士を見比べる点が決定的な違いであり、初学者が混同しやすいポイントです。
Self-Attention
これは文中のある単語が、同じ文中の他のどの単語と強く関連しているかを計算する「Self-Attention」の説明です。Multi-Head Attentionは、このSelf-Attentionを何個も並列（マルチヘッド）に束ねてパワーアップさせた上位概念なので、単一のSelf-Attentionとは構造の規模が異なります。
Layer Normalization
これはデータ全体の平均や分散を調整して、ディープラーニングの学習をスムーズに進めるための「Layer Normalization」の説明です。アテンション機構そのものの計算方法や注意を向ける仕組みとは異なり、モデルの数値を綺麗に整える裏方的な役割を持つため、目的や機能のレイヤーが全く異なります。