問題 No.2373
自然言語処理において、以下の2つの文からなるコーパスを対象に、BoW（Bag-of-Words）モデルに基づいて各単語の出現頻度をカウントした文書-単語行列を作成する。このとき、コーパス全体に出現するすべてのユニークな単語を列とし、各文書を行とする行列を考える。文書1：「人工知能 と 機械学習 と ディープラーニング」、文書2：「人工知能 の 機械学習」とした場合、文書1における単語「機械学習」の出現回数と、文書2における単語「人工知能」の出現回数の合計値として正しいものはどれか。なお、助詞や接続詞も含め、スペースで区切られたすべての要素をそれぞれ独立した1つの単語として扱うものとする。
【正解の解説】
$3$
BoWは単語の並び順を無視して出現回数だけを数える手法です。おもちゃ箱に色とりどりのブロックを放り込むように、文から単語をバラバラにして数えます。文書1には「機械学習」が2回、文書2には「人工知能」が1回含まれているため、それぞれの回数を合計すると2＋1で3になります。初学者が文法的なつながりを考えてしまいがちですが、機械的に単語の数だけを純粋にカウントするのがこのモデルの基本ルールです。
スポンサーリンク
【その他の選択肢の解説】
$1$
問題文では2つの文書にまたがる指定された単語の合計値を求めているため、片方の文書だけを計算して満足してしまうとこの誤答にたどり着きます。すべての文書をくまなくチェックする視点が抜けている初学者がよくやるケアレスミスを誘うための罠として配置されています。
$2$
文書1だけに注目してしまうと「機械学習」が2回登場しているため、この数値に惑わされてしまいます。しかし問題文は複数の文書からなるコーパス全体を対象としているため、もう一つの文書である文書2のカウント結果を合算するプロセスを忘れないように注意しなければなりません。全体を俯瞰してデータを見る重要性を教えてくれる典型的な誤りパターンです。
$4$
実際の出現回数は文書1の「機械学習」が2回、文書2の「人工知能」が1回で合計3回ですが、なぜか4回と多く見積もってしまっています。これは各単語が文章のあちこちに散らばっている様子を想像するあまり、本来の出現数以上に過剰カウントしてしまう初心者の思い込みや錯覚を利用した誤答選択肢となっています。