問題 No.2498
自然言語処理における単語分散表現の学習モデルであるWord2Vecのアーキテクチャの一つであり、ある中心単語からその周辺に出現する文脈単語を予測する手法として、適切なものはどれか。
【正解の解説】
中心単語を入力として周囲の文脈単語を予測するスキップグラムモデルである
人間関係に例えると、「私の大親友はこの人たちだ！」と特定の一人から周囲の友人グループを当てるようなアプローチです。一つのキーワードを手がかりに、その周りに現れる言葉のネットワークを芋づる式に広くキャッチしていくイメージを持つと、なぜ「スキップ（飛ばして広げる）グラム」と呼ばれるのかがスッと腹落ちします。
スポンサーリンク
【その他の選択肢の解説】
周囲の文脈単語を入力として中心となる単語を予測するCBoWモデルである
Word2Vecには中心から周囲を予測するスキップグラムと、周囲から中心を予測するCBoWの2つがあり、試験や実務ではこの矢印の向きが頻繁に入れ替えて出題されます。「周囲の言葉から真ん中を穴埋め問題のように当てるのがCBoW、真ん中の言葉から周囲の広がりを予測するのがスキップグラム」と完璧にセットで整理しておきましょう。
単語の共起行列に対して特異値分解を直接適用してベクトルを生成するGloVe手法である
ニューラルネットワークを用いて予測を繰り返すWord2Vecとは異なり、単語同士が一緒に出現する頻度の行列を全体的に分析する手法です。特異値分解という数学的な手法は別のアルゴリズムでよく使われるため、単語分散表現の代表格であるWord2Vecの仕組みと混同させやすい巧妙なひっかけとして出題されています。
文書全体を入力としてその文書の感情極性を直接分類するFastTextモデルである
文章の感情極性を分類するのはテキスト分類タスク全体の話であり、単語の分散表現を得るためのWord2Vecのアーキテクチャとはレイヤーが異なります。FastTextは未知の単語にも強い優れたモデルですが、問題文が問う「中心単語から文脈単語を予測するアーキテクチャ」という本質的な定義とは一致しないため誤りとなります。