問題 No.3451
自然言語処理の前処理において、対象となる文書「$artificial$ $intelligence$」に対して文字単位の $3$-gram（文字 $n$-gram）を抽出する場合、スペース（空白文字）を含めない場合の総パターン数を求めなさい。なお、抽出にはスライディングウィンドウ方式を用いるものとする。
【正解の解説】
$18$通り
窓ガラスを覗く小さな枠を3文字分用意し、端から順番にずらしながら文字を切り出していくイメージです。artificialは9文字、intelligenceは12文字で合計21文字ですが、スペースを除外すると19文字になります。この19文字のトンネルを長さ3の窓が通過すると、切り出しの開始位置は17個作れます。さらに、それぞれの単語の境界でまたがる3文字も考慮すると、総パターン数は18通りになります。
スポンサーリンク
【その他の選択肢の解説】
$19$通り
初学者がよくやってしまうミスとして、スペースも1文字として数えてしまったり、単語の境界をまたぐ部分の組み合わせを見落としたりして計算を誤るケースがあります。今回はスペースを含めない条件であるため、全体の文字数を正しく把握し、スライディングウィンドウで何回窓を動かせるかを正確に数える必要があります。出題者はこうしたケアレスミスを誘うためにこの選択肢を用意しています。
$20$通り
文字の連続性を無視して、単なる文字数の足し算や適当な見積もりから導き出された引っ掛け用の選択肢です。n-gramでは文字が重なり合って切り出されるため、単に文字数を並べただけでは正しいパターン数は求まりません。実際に窓をスライドさせる動作を紙に書いてシミュレーションし、重複や境界を正しくカウントする癖をつけることが重要です。
$22$通り
スペースを含めた場合の文字数や、存在しない文字の組み合わせを幻視してしまった場合に選んでしまいがちな不正解です。試験問題では、条件を見落としてスペースを含めて計算した値などが巧妙に罠として配置されています。必ず「スペースを含めない」「3-gramである」という制約条件を一つずつペンで消しながら確認する慎重さが求められます。