問題 No.1978
自然言語処理モデルであるBERTの事前学習において用いられるタスクの一つであり、提示された2つの文が連続しているかどうかを二値分類で予測する手法を何というか。
【正解の解説】
Next Sentence Prediction
人間が小説を読むとき、前の段落と次の段落の自然なつながりを無意識に理解するのと似ています。BERTに「Aの文の次にBの文が実際に続くか」を予測させることで、文と文の文脈的な繋がりを深く理解させる仕組みです。
スポンサーリンク
【その他の選択肢の解説】
Masked Language Modeling
これは文章の「穴埋め問題」を解かせる手法であり、単語レベルの文法や意味を学習させるものです。文と文の繋がりを見るNext Sentence Predictionとは、学習している対象の大きさが異なるため注意が必要です。
Causal Language Modeling
未来の言葉を見てはいけないという制限の中で文章の続きを予測するものであり、左右両方の文脈を同時に見ることができるBERTの双方向的なアプローチとは根本的にアーキテクチャの設計思想が異なります。
Position Embedding Projection
Transformerは単語の順番を無視して同時に処理してしまうため、位置情報を足し合わせる役割を持つものです。文と文の連続性を判定する予測タスクそのものの名称ではなく、モデルの構造を支える技術の一つです。