問題 No.4338
自然言語処理における単語埋め込み（Word Embedding）に関する記述として不適切なものを一つ選べ。
【正解の解説】
単語埋め込みは、各単語を文書中での出現頻度のみに基づいた固定長の疎なベクトル表現に変換する手法である。
これは料理のレシピを例にすると、食材の名前（単語）を単に冷蔵庫の中での個数だけで数えて並べるようなものです。単語埋め込みは出現頻度だけでなく、食材の味や相性といった意味的な近さを多次元の空間で表現するため、この説明は従来のBoWなどの手法の特徴を混同させた引っ掛けとなっています。
スポンサーリンク
【その他の選択肢の解説】
単語埋め込みは、単語の意味的な近さを多次元の連続値による密集したベクトル表現として低次元空間に写像する手法である。
初学者は疎なベクトルと密集したベクトルを混同しがちですが、Word2vecなどの単語埋め込みは意味の近さを距離として計算できるコンパクトな空間を作ります。これは地図上で「東京」と「大阪」の距離が近いように、言葉の意味を位置関係に置き換えているイメージです。
単語埋め込みは、大規模なコーパスにおける共起関係の傾向を利用して、意味や文脈の類似した単語を近傍に配置する手法である。
「犬」という単語の近くには「散歩」や「ペット」が出現しやすいという言葉の使われ方の傾向（共起関係）を機械に学習させます。これは「類友の法則」のように、よく一緒にいる人同士をグループ化する感覚で言葉の意味の近さを捉えるアプローチです。
単語埋め込みは、文脈に依存せず一意に定まる静的な表現だけでなく、周囲の単語に応じて動的にベクトルが変化する手法である。
従来のWord2vecなどは一つの単語に一つの固定ベクトルを割り当てる静的表現でしたが、BERTなどの最新手法では「銀行（川岸）」と「銀行（お金を預かる場所）」のように文脈によって意味が変わる動的表現も実現されています。技術の進化の全体像を押さえているかの良い確認になります。