問題 No.3799
自然言語処理の前処理において、文書からユニグラム（1-gram）およびバイグラム（2-gram）を抽出する場合を考える。対象となる文書が「機械 学習 は 人工 知能 の 一分野 で ある」という$10$個の単語から構成されている時、ユニグラムの総数とバイグラムの総数の組み合わせとして正しいものはどれか。なお、文書の端におけるパディング等は考慮せず、連続する単語の組み合わせのみをカウントするものとする。
【正解の解説】
ユニグラムの総数は$10$個、バイグラムの総数は$9$個である
文章を電車の車両に例えると、ユニグラムは車両を1個ずつバラバラに数えるので全体の数と同じ10個になります。一方、バイグラムは隣り合う2つの車両を連結したペアを作るため、10個の車両の間にある隙間の数となり、10マイナス1で9個になります。このようにn-gramでは、Nの数が大きくなるほど抽出できるペアの総数が少なくなっていくというルールを感覚的に押さえておきましょう。
スポンサーリンク
【その他の選択肢の解説】
ユニグラムの総数は$10$個、バイグラムの総数は$10$個である
バイグラムは連続する2つの単語のペアを作るため、10個の単語から作れるペアは必ず9個になります。もし10個にしてしまうと、最後の単語の後ろにもう一つ架空の単語が存在することになってしまいます。電車を連結器でつなぐとき、車両が10両あれば連結部分は9箇所しかないのと同じイメージで、ペアの数は常に単語数マイナス1になると覚えておきましょう。
ユニグラムの総数は$9$個、バイグラムの総数は$9$個である
ユニグラムは文書に含まれる単語を単に1つずつそのまま数えるものなので、文書の単語数が10個であればユニグラムの総数もそのまま10個になります。バイグラムの数が9個になるため、つられてユニグラムまで9個だと勘違いして減らしてしまうのが初学者が最もやりがちな罠ですので、単語の個数と1-gramの数は常に一致すると整理しておきましょう。
ユニグラムの総数は$19$個、バイグラムの総数は$10$個である
ユニグラムの10個とバイグラムの9個を足して19個にしてしまうのは、種類の異なる数値を単純合算してしまう典型的なミスです。G検定では自然言語処理のN-gramにおいて、それぞれの特徴や算出ロジックを正確に理解できているかが問われます。それぞれの次数ごとに独立して個数を計算する必要があるため、混ぜて計算しないよう注意してください。