問題 No.1100
TransformerモデルのSelf-Attentionにおいて、各単語の関連度を計算するために用いる3つのベクトルは何か。
【正解の解説】
Query、Key、Value
TransformerのSelf-Attention機構では、入力単語ごとにQuery（何を探しているか）、Key（どんな情報を持っているか）、Value（具体的な情報の内容）の3つのベクトルを生成し、QueryとKeyの内積から算出された関連度（重み）をValueに掛け合わせることで関連性を計算します。
スポンサーリンク
【その他の選択肢の解説】
Input、Hidden、Output
Input（入力層）、Hidden（隠れ層）、Output（出力層）は、ディープラーニングにおける基本的なネットワークの階層構造を構成する要素の名称です。Self-Attention内で各単語間の関連度や注目度を計算するために生成されるベクトルではありません。
Prior、Posterior、Likelihood
Prior（事前確率）、Posterior（事後確率）、Likelihood（尤度）は、ベイズ推定などの統計的推論においてデータを更新する際に用いられる確率の概念です。TransformerのSelf-Attention内で直接計算に用いられるベクトルではありません。
Encoder、Decoder、Attention
Encoder（符号化器）、Decoder（復号化器）、Attention（注目機構）は、Seq2SeqモデルやTransformer全体を構成する巨視的なブロックや概念のことです。Self-Attention内部で演算される個々の単語ベクトルそのものを指す言葉ではありません。