問題 No.3545
自然言語処理タスクにおいてTransformerモデルを実装するエンジニアが、入力された文章内の単語の並び順をモデルに正しく認識させるため、単語の埋め込みベクトルに対して正弦波と余弦波を用いた特定の数式による値を足し合わせる前処理を行うこととした。この処理に該当する手法はどれか。
【正解の解説】
各単語の絶対的な位置情報を保持させる位置エンコーディング処理である
Transformerは従来のAIと違って文章を「一読して同時に」並列処理するため、単語の順番がバラバラでも認識できてしまいます。これを本や映画に例えると、ページ番号がバラバラの小説を読むようなものです。そのため、正弦波と余弦波という数学的な定規を使って「君は何番目の単語だよ」という絶対的な座席番号（位置情報）をあらかじめ縫い込んでおくのが位置エンコーディングの本質なのです。
スポンサーリンク
【その他の選択肢の解説】
各単語間の相対的な距離関係だけを動的に学習させる位置エンコーディング処理である
オリジナルのTransformer（Vaswaniら、2017）で採用された位置エンコーディングは、動的に学習するのではなく、サイン波やコサイン波という決定論的な数式を使って『絶対的な位置』を静的に与えています。相対位置に着目する手法は別の派生モデルや改良版で使われるアプローチであり、出題文にある『正弦波と余弦波を用いた特定の数式による値』という特徴とは矛盾するため誤りとなります。
各単語の出現頻度に応じた重要度を重み付けして調整する位置エンコーディング処理である
文章中の「の」や「は」のような頻出語の重要度を下げる手法といえば、TF-IDFなどの古典的な統計手法や、情報の重要度を測る仕組みを指します。位置エンコーディングの目的は単語の『重要度』を決めることではなく、あくまで『何番目にあるかという順序情報』を伝えることなので、この選択肢は目的を取り違えた引っかけとなります。
各単語の分散表現の次元数を自動的に圧縮して計算効率を高める位置エンコーディング処理である
次元削減や圧縮といえば主成分分析（PCA）やオートエンコーダーなどの役割であり、モデルの軽量化や効率化を目的としています。位置エンコーディングは単語ベクトルの次元数を減らすどころか、元の単語ベクトルに位置情報を足し合わせるため次元数はそのまま維持されます。効率化と混同させるための典型的な出題者の罠なので注意してください。