問題 No.2787
自然言語処理を用いたテキスト解析において、ある文書から抽出したトライグラムの頻度情報を利用して文書分類を行うことになりました。この手法に関する記述として、最も適切なものはどれか。
【正解の解説】
連続する3つの単語や文字の出現パターンを特徴量として捉え、文脈や語順の局所的な傾向を数値化する手法である。
トライグラムは、日本語の文章を「3文字ずつスライドさせる虫眼鏡」で見ているようなものです。「すもももももも」なら「すもも」「ももも」「ももも」と切り出し、言葉のつながりやリズムという局所的な特徴を数値化します。単語の順番を無視する手法とは異なり、言葉の並び順が持つニュアンスをしっかり汲み取れるため、文書分類において文脈の癖を見抜く強力な武器になります。
スポンサーリンク
【その他の選択肢の解説】
連続する3つの単語や文字の出現順序を無視して集計し、文書全体における語彙の網羅性や多様性を数値化する手法である。
トライグラムの「トライ（3）」という最大の武器である「連続性や語順」を完全に無視してしまっている点が誤りです。出現順序を無視して単語の有無や数だけで文書を表現する手法は、スープの材料をバラバラにして鍋に放り込むようなものであり、これでは「犬が人種を噛んだ」も「人が犬を噛んだ」も同じと判定されてしまい、文脈のニュアンスが消えてしまいます。
連続する3つの文や段落の構成要素を抽出し、文書全体におけるマクロなトピックの変遷や意味的距離を数値化する手法である。
トライグラムが対象とするのは、あくまで「連続する3つの単語や文字」という極めてミクロな局所的パターンです。文や段落といった巨大な単位を扱うと、文章全体の大きなテーマや意味的距離は見えますが、トライグラムの持ち味である「単語の並びの癖」という細かい特徴が見えなくなってしまいます。スケール感を混同させる出題者の典型的な罠です。
連続する3つの文字の組み合わせのみを対象として頻度を算出し、未知語や表記ゆれに対して頑健な語幹処理を行う手法である。
トライグラムは文字だけでなく「連続する3つの単語」を対象にすることも多く、さらに用途は語幹処理ではなく、文脈や語順の傾向を数値化して文書分類や予測を行うことです。未知語や表記ゆれへの頑健性を高める手法としては文字n-gramが使われることもありますが、「語幹処理を行う」という部分は別の自然言語処理タスクの機能が混ざっており、目的がすり替わっています。