問題 No.1830
自然言語処理のTransformerモデルにおいて、エンコーダー側の出力と言語生成を行うデコーダー側の隠れ状態との間の関連性を計算するアテンション機構の名称はどれか。
【正解の解説】
Source-Target Attention
人間が外国語を翻訳する際、原文のどの部分と訳文のどの部分が対応しているかを確認しながら文章を組み立てる作業と同じ役割を持っています。翻訳元の情報（Source）と翻訳先の情報（Target）の橋渡しをする重要な仕組みであり、Transformerのデコーダーが正しい文脈の単語を生成するために欠かせない機能です。
スポンサーリンク
【その他の選択肢の解説】
Self-Attention
Self-Attentionは一つの文の中で自分自身を見つめ直す機能であり、文脈把握に使われます。これに対し、問題文にある仕組みは「異なる二つの情報源（エンコーダーとデコーダー）」を繋ぐものであるため、矢印の向きや対象が全く異なります。試験では似た用語として混同しやすいため、お互いの対象範囲の違いをしっかり区別して覚える必要があります。
Multi-Head Attention
Multi-Head Attentionは、一つの視点だけでなく複数の異なる視点（文法、意味、係り受けなど）で文章を同時に読み解くための拡張技術です。これはアテンションの「種類」ではなく「構造の拡張」を意味するため、Source-Target AttentionやSelf-Attentionのどちらの仕組みの中でも利用される部品の名前として登場します。
Position-wise Attention
Position-wise AttentionではなくPosition-wise Feed-Forward Networksなどが正しく、位置ごとの独立した変換処理を指すことが多いです。アテンション機構自体とは役割が異なり、単語の順序や位置に応じた非線形な特徴変換を行うための別個のモジュールとしてTransformer内に配置されているため、名称の混同に注意が必要です。