問題 No.1301
自然言語処理の基盤モデルであるTransformerの核心となる数理機構である。入力された文章内のすべての単語について、クエリ、キー、バリューの3つのベクトルを生成し、単語同士が互いにどれだけ強い関連性を持っているかを動的に計算して重み付けする仕組みはどれか。
【正解の解説】
自己アテンション
自己アテンション（Self-Attention / 自己注意機構）は、単一文章内の全単語ペアから Query, Key, Value ベクトルを算出し、内積計算によって単語同士の関連度（重み）を計算します。離れた単語間の文脈関係も一括でダイナミックに並列計算できるTransformerの核心部です。
スポンサーリンク
【その他の選択肢の解説】
リカレント接続
リカレント接続（Recurrent Connection）は、RNNで時間軸に沿って過去の隠れ状態 $h_{t-1}$ を次のステップの入力に繰り返し受け渡す構造です。単語を先頭から順に逐次処理するため並列計算が難しく、Transformerのアテンション機構とは異なります。
コンボリューション演算
コンボリューション演算（畳み込み処理）は、小さなカーネルをデータ上でスライドさせながら受容野内部の局所的パターンを抽出する計算です。文章全体のすべての単語間の依存関係を大域的・動的に重み付け計算する自己アテンションとは計算方法が異なります。
スキップコネクション
スキップコネクション（Skip Connection / 残差結合）は、入力データ $x$ を層をバイパスして後の層へ直接加算する構造（$f(x) + x$）です。深層ネットワークにおける勾配消失問題を回避して学習を安定化させる技術であり、単語間の関連性を評価する仕組みではありません。