問題 No.2302
自然言語処理やTransformerモデルにおける自己注意機構（Self-Attention）の仕組みや特徴として不適切なものはどれか。
【正解の解説】
リカレントニューラルネットワークと同様に、入力系列を時系列順に1単語ずつ逐次処理することで計算効率を高めている。
これはマラソンで全員が一斉にスタートするようなものであり、RNNが1人ずつバトンを繋ぐ逐次処理で時間がかかるのに対し、Transformerは一網打尽に全体を見渡すことで圧倒的なスピードと効率化を実現しています。そのため、この記述はリカレントニューラルネットワークの特徴と混同させた誤りです。
スポンサーリンク
【その他の選択肢の解説】
入力系列内のすべての単語同士の関連度を同時に計算するため、長距離の依存関係であっても距離に関係なく直接捉えることができる。
これは自己注意機構の最大の強みである「大域的なコンテキストの把握」を正確に説明した記述です。遠く離れた主語と述語の係り受けであっても、お互いの距離を無視してダイレクトに結びつけられるため、文脈の取りこぼしを防ぐことができます。
クエリ、キー、バリューという3つのベクトルを用いて重み付け和を算出し、文脈に応じた動的な単語の分散表現を獲得する。
これは検索システムで例えると、ユーザーが入力する検索ワードがクエリ、データベース上の見出しがキー、実際の記事の中身がバリューに相当します。この3者を掛け合わせることで、多義的な単語であっても文脈に合わせた最適な意味を動的に導き出すことができます。
過去の隠れ状態を次の時刻へ順次伝播させる構造を持つため、系列データが長くなるほど勾配消失問題の影響を受けやすくなる。
これはLSTMやRNNなどの従来型モデルが抱えていた構造上の弱点を説明したものであり、自己注意機構はその問題を解決するために作られました。自己注意機構自体は時系列を順次伝播させないため、どれほど長い文章であっても勾配消失問題に直接悩まされることはありません。