問題 No.3110
自然言語処理において、以下の3つの文からなるコーパスを対象に、BoW（Bag-of-Words）モデルに基づいて文書-単語行列を作成する。文書1:「自然言語 処理 の 基礎」、文書2:「機械学習 と 自然言語 処理」、文書3:「人工知能 と 機械学習」としたとき、コーパス全体に出現するすべてのユニークな単語の総数（文書-単語行列の列数）として正しいものはどれか。なお、スペースで区切られたすべての要素をそれぞれ独立した1つの単語として扱うものとする。
【正解の解説】
$7$
BoW（Bag-of-Words）は単語の順番を無視して出現回数だけを数える手法です。文言をバラバラにして全文書の単語を並べると、「自然言語」「処理」「の」「基礎」「機械学習」「と」「人工知能」の7種類となり、これが文書-単語行列の列数（特徴量の次元数）になります。これは、本棚の本を分類するために、全種類の単語にそれぞれ専用のラベル（引き出し）を7個用意する作業と同じイメージです。
スポンサーリンク
【その他の選択肢の解説】
$6$
初学者がやりがちなミスとして、意味のありそうな名詞や動詞だけに注目してしまい、助詞である「の」や「と」を単語としてカウントから外してしまうケースがあります。しかし、BoWモデルでは原則としてスペースで区切られたすべての要素を対等な単語として扱うため、助詞や接続詞もれっきとした1つの独立した次元としてカウントしなければなりません。
$8$
各文書にある単語を単純にすべて足し算してしまうと、文書1（4語）＋文書2（5語）＋文書3（4語）＝13語となり、総数を超えてしまいます。8という数字は、何らかの数え間違いや重複カウントが生じた結果の誤答であり、BoWにおけるユニークな（重複のない）単語の数え方を理解できているかを試す典型的なひっかけです。
$9$
文書1の4語、文書2の5語、文書3の4語を合計した13語から、重複する「自然言語」「処理」「機械学習」「と」の4語を引いた残りとして勘違いしやすい値です。あるいは、記号や空白を余分に1文字として数えてしまったような計算ミスに相当します。BoWの「ユニークな単語の総数」という定義を正しく押さえていれば選ぶことのない選択肢です。