問題 No.1330
自然言語処理において、リカレント接続を使わずに、自己アテンション機構を用いて文章中の離れた単語間の関係を並列計算により捉えるネットワーク構造はどれか。
【正解の解説】
Transformer
Transformerは、RNNの再帰構造を完全に排除し、Self-Attention（自己注意機構）のみで系列データの単語間関連度を一括並列計算する革新的なモデルです。計算効率が圧倒的に高く、現在のLLM（ChatGPT等）の標準アーキテクチャとなっています。
スポンサーリンク
【その他の選択肢の解説】
RNN
RNN（Recurrent Neural Network）は、過去の隠れ状態を時系列に沿って次のステップへ渡すループ構造を持っています。前のタイムステップの計算が終わるまで次の計算を進められないため、長文データの並列計算や長距離依存関係の学習には弱点があります。
LSTM
LSTM（Long Short-Term Memory）は、忘却ゲート・入力ゲート・出力ゲートを備えることでRNNの勾配消失問題を克服したモデルです。しかし基本構造は依然として時系列に沿った逐次（シーケンシャル）処理であるため、並列化による高速学習は不可能です。
CNN
CNN（Convolutional Neural Network）は、局所的な受容野に対してカーネル（フィルター）を適用し、エッジや模様などの空間的特徴を抽出するネットワークです。文章中の任意の離れた単語同士の動的な関連性をダイナミックに並列処理する構造とは異なります。