問題 No.1941
自然言語処理の分野において、トランスフォーマーをベースとしたモデルであるBERTの事前学習で採用されている「Masked Language Model」に関する記述として、最も適切なものはどれか。
【正解の解説】
入力文のトークンの一部を伏せ字にして、その両方向の文脈から当該トークンを復元させる手法である。
穴埋め問題のクイズを解くようなものです。推理小説で「犯人は〇〇だ！」の〇〇を前後のストーリーから当てるように、BERTは文脈全体を見渡して言葉のつながりを深く理解する訓練をこの方法で行っています。
スポンサーリンク
【その他の選択肢の解説】
入力文のトークンの一部を伏せ字にして、その左側の文脈のみから当該トークンを予測させる手法である。
左側の文脈のみから予測するのは「言語モデル（Language Model）」の一般的なアプローチです。BERTの最大の特徴は左右の両方（双方向）の文脈を見られる点なので、左側だけにするこの記述は誤りとなります。
入力文のトークンを順番に並べ替えて、その双方向の文脈から正しい語順を復元させる手法である。
初学者が「文脈を理解する」という言葉からパズルのような語順の入れ替えを連想しやすい点を突いたひっかけです。実際のBERTは語順を並べ替えるのではなく、あくまで「穴埋め」によって言葉の意味を学習します。
入力文の末尾に新しいトークンを追加して、その過去の文脈から次の単語を予測させる手法である。
次の単語を予測する動作は一見するとAIの仕組みらしく聞こえますが、これは「Causal Language Model」などの特徴です。BERTのMasked Language Modelは文の途中にある穴を埋める手法であり、意味を取り違えやすい典型的な罠です。