問題 No.1152
自然言語処理において、RNNのような時系列に沿った逐次計算を行わず、文章内のすべての単語間の関連度を並列に計算する【 】アーキテクチャが登場した。これにより、計算の高速化と長距離の文脈理解が可能になり、現在の大規模言語モデルの基盤となっている。
【正解の解説】
Transformer
Transformerは、RNNのような再帰構造を完全に排除し、Self-Attention（自己注意機構）のみを用いて文章内の全単語間の関連度を同時に並列計算します。これにより計算効率が飛躍的に向上し、現代のGPTやBERTなどの大規模言語モデル（LLM）の基盤となっています。
スポンサーリンク
【その他の選択肢の解説】
CNN
CNN（畳み込みニューラルネットワーク）は、フィルターを用いて画像の局所的な特徴（エッジや模様）をスライドさせながら抽出するモデルです。自然言語処理における長距離の文脈依存関係を文全体で並列計算する仕組みとは異なります。
LSTM
LSTM（Long Short-Term Memory）はセル状態とゲート機構によって長期記憶を保持できますが、文章を先頭から1単語ずつ順番に処理する再帰構造（RNN）に基づいています。そのため計算の並列化が難しく、長文の並列学習には限界があります。
オートエンコーダ
オートエンコーダ（Autoencoder）は、エンコーダで入力データを低次元の潜在表現に圧縮し、デコーダで元のデータを復元するように学習する教師なし学習の手法です。データの次元削減やノイズ除去などに用いられ、並列言語処理の基盤構造ではありません。