問題 No.1713
自然言語処理における手法「Bag-of-Words」に関する記述として、最も不適切なものを1つ選べ。
【正解の解説】
文脈の情報を保持するため、単語の出現順序を考慮してベクトルを生成し、文章の長さを正規化する。
Bag-of-Wordsは単語の出現順序を無視します。順序を保持するモデルはN-gramやRNN、Transformer等の別の手法の特性です。
スポンサーリンク
【その他の選択肢の解説】
文章を単語の集合と見なし、単語の出現頻度に基づいてテキストをベクトル化する手法である。
Bag-of-Wordsは文書を単語の出現頻度ベクトルの形式で表現する手法の定義そのものです。
文章内における各単語の出現順序や構文構造の情報を、ベクトル化の過程で完全に無視する。
Bag-of-Wordsは「袋の中の単語」という名の通り、文法や語順を捨て去り、カウントのみに注目する手法です。
文書数が増加するとベクトル次元数が単語の種類数に依存して増大するため、データが疎になる傾向がある。
辞書に含まれる全単語を次元とするため、ほとんどの要素が0となるスパース（疎）なベクトルが生成されます。