問題 No.1784
自然言語処理において、可変長のテキストデータをミニバッチ学習のために固定長のテンソルへ変換する際、短い文の後方に特殊なトークンや0を付与して長さを揃える前処理として、適切なものを選択せよ。
【正解の解説】
パディング処理
これは遊園地のアトラクションで全員分の座席の長さを同じにするために、短い席にはクッションを詰め物（パット）して調整する作業のようなものです。AIは長方形の揃ったデータしか処理できないため、文章の長さがバラバラなときに、足りない部分を「ゼロ」という文字や記号で埋めて長さをピタッと揃えることで、まとめて効率よく学習できるようにしています。
スポンサーリンク
【その他の選択肢の解説】
トークナイジング処理
トークナイジングは文章をパズルピースのように「単語や文字に分割する」作業であり、長さを揃えるパディング処理とは行う目的とタイミングが全く異なります。初心者は文字をバラバラにする工程と、長さを揃えて埋める工程をごちゃ混ぜにしやすいため注意が必要です。
マスキング処理
マスキングは穴埋め問題のように一部の単語を隠す処理であり、長さが足りない部分を埋めて揃えるパディングとは目的が異なります。どちらも機械学習の前処理でよく登場する用語ですが、データサイズを整形するのか、情報を隠すのかという本質的な違いを混同しないようにしましょう。
センテンス化処理
文章の区切りを認識するだけであり、ミニバッチ学習のためにテンソルのサイズを無理やり固定長へ変形する操作ではありません。初学者がそれっぽい横文字に惑わされて選びやすいダミー選択肢なので、テンソルの形を整える役割を持つパディングとは明確に区別して覚えましょう。