問題 No.1212
自然言語処理の大規模言語モデルなどで採用されている仕組みであり、時系列データを順番に処理していく従来の再帰型ネットワークとは異なり、文章内のすべての単語間の関係性を同時に計算することで、長距離の依存関係を捉えつつ大規模な並列計算を可能にした機構はどれか。
【正解の解説】
セルフアテンション
セルフアテンション（Self-Attention / 自己注意機構）は、単一の系列（文章）内の全単語ペアに対して Query, Key, Value ベクトルを用いて関連度を直接計算します。単語間の距離に関わらず一度で長距離の依存関係を把握でき、高度な並列計算を可能にします。
スポンサーリンク
【その他の選択肢の解説】
畳み込み
畳み込み（Convolution）は、特定の移動窓（カーネル）をスライドさせながら局所的なパターンを抽出する処理です。画像認識で大きな成果を上げましたが、遠く離れた単語同士の関係性を直接一度に捉える機構ではありません。
プーリング
プーリング（Pooling）は、畳み込み層の後に適用され、一定領域内の最大値や平均値を取り出して解像度を落とす処理です。文章中の全単語同士の文脈・関係性を同時に計算する自然言語処理の機構ではありません。
スキップコネクション
スキップコネクション（Skip Connection / 残差結合）は、$f(x) + x$ のように入力データを層を飛び越えて加算する回路構造です。超深層ネットワークでの勾配消失を防いで学習を安定化させる仕組みであり、単語間の文脈関連度を計算する仕組みではありません。