問題 No.3517
Transformerをベースとした双方向の文脈理解を可能にする事前学習済み言語モデルにおいて、入力文中のトークンの一部を意図的に隠蔽し、その前後の文脈を手がかりとして隠されたトークンを予測する事前学習タスクを利用したモデルを活用する際、この学習タスクの処理方式として該当するものはどれか。
【正解の解説】
入力文のトークンを確率的にマスクし周辺の文脈から復元する
これはテレビのクイズ番組で「穴埋め問題」を解くようなものです。文章全体を両側から見渡せるため、「私は昨日、〇〇でリンゴを買った」という文があれば、前後の文脈から〇〇に入るのが「スーパー」だとピンと当てられる仕組みと同じです。BERTなどのモデルで強力な文脈理解力を生み出すために使われます。
スポンサーリンク
【その他の選択肢の解説】
入力文のトークンを文頭から順番に結合し次に出現する語を確率的に予測する
BERTなどの双方向モデルで使われるMLMと混同しやすいですが、こちらはGPTなどのモデルで主流の方式です。未来の単語を見ずに過去の情報だけで次を予測するため、文章の穴埋めではなく、文章の続きを自動生成するタスクに向いているという決定的な違いがあります。
入力文の文脈ベクトルを一旦すべて破棄して対応する画像を同時に再構築する
AIの万能感をイメージする中で初心者が混同しやすいように作られたフェイクの選択肢です。言語の事前学習はあくまでテキストデータの構造や意味を深く理解させることが目的であり、テキストから画像を直接再構築するような処理は一般的な言語モデルの事前学習には含まれません。
入力文の単語の並び順をあらかじめシャッフルして元の正しい順番に復元する
文の順番をシャッフルする手法は文の構造や並びを学習する別のアプローチ（文順序予測など）に似ていますが、BERTの主要なタスクであるMLM（Masked Language Model）の本質はあくまで「隠されたトークンの穴埋め」です。出題者がよく混ぜてくる別の学習タスクの名前や仕組みに惑わされないよう注意しましょう。