問題 No.2127
自然言語処理において、双方向の文脈理解を可能にするためにBERTの事前学習で導入された「Masked Language Model」について、実際の処理手順として正しいものはどれか。
【正解の解説】
入力文の特定の単語を確率的に隠蔽し、その周囲に残された前後の文脈情報を手掛かりに該当箇所の単語を予測する。
これはテレビのクイズ番組で「穴埋め問題」を解くようなものです。例えば「私は今朝、美味しい（ ）を食べた」という文で、「パン」という言葉が隠されていても、前後の「美味しい」「食べた」という文脈を手掛かりに正解をピタリと当てられますよね。BERTはこの仕組みを使うことで、言葉の意味を深く理解できるようになります。
スポンサーリンク
【その他の選択肢の解説】
入力文の末尾に特定のトークンを付与して順次読み込ませ、得られた最終層の隠れ状態ベクトルから次の文を分類する。
初学者が混同しやすいポイントですが、文の末尾に特別なトークンを置くのは、2つの文が連続しているかを判定する「Next Sentence Prediction」という別のタスクの仕組みです。穴埋め問題を解くMasked Language Modelとは目的も手順も全く異なるため、試験のひっかけとしてよく出題される典型的な罠です。
入力文の単語の並び順をあらかじめシャッフルしておき、正当な文脈のつながりを復元する順序並び替えタスクを実行する。
単語を隠すのではなくバラバラにシャッフルするのは、文の構造を学ばせるための別のアルゴリズムで使われる手法です。Masked Language Modelの本質は「隠された言葉を当てること」にありますので、単語の順番を並び替えるアプローチとは根本的な処理手順が異なります。用語の機能を混同させないように注意しましょう。
入力文を左側から右側へと単語単位で順番に処理し、過去の文脈情報のみを手掛かりにして次の単語を自己回帰的に予測する。
人間の読書に例えると、未来の文章を見ずに左から右へと一文字ずつ読み進める方法です。これは従来の言語モデルが得意とする片方向の処理ですが、BERTの最大の特徴は「未来の言葉も含めた両側（双方向）の文脈を見渡せること」にあります。したがって、過去の文脈のみに限定するこの選択肢は、双方向を強みとするBERTの解説としては誤りになります。