問題 No.1588
Transformerにおいて、デコーダーの層がエンコーダーの出力に注意を向ける機構はどれか。
【正解の解説】
Source-Target Attention
Encoder-Decoder Attentionとも呼ばれ、翻訳タスクなどで入力文のどの部分が重要かを考慮して出力文を生成します。
スポンサーリンク
【その他の選択肢の解説】
Self-Attention
文中の単語同士の依存関係を捉えることで、コンテキストの深い理解を可能にします。
Multi-Head Attention
異なる観点から情報を抽出できるように、複数のヘッドで異なる重みを学習させる仕組みです。
Position-wise Feed-Forward
Attention層の後に配置され、さらなる特徴抽出を行うためにTransformerの各ブロックに含まれます。