問題 No.4043
文脈に応じた動的な単語分散表現を獲得するために開発されたELMo（Embeddings from Language Models）に関する記述として、最も適切なものはどれか。
【正解の解説】
双方向LSTM（BiLSTM）言語モデルをベースにしており、文字レベルの畳み込みニューラルネットワーク（CNN）を用いて単語の表現を生成するため、未知語に対しても頑健である。
人間が「銀行（お金を預ける場所）」と「銀行（川の土手）」という同じ単語でも前後の文脈で意味をパッと切り替えるように、ELMoは前後の文脈を双方向のLSTMで読み解き、さらに文字レベルのパーツから単語を組み立てるため、辞書にない未知の言葉に出会っても「この漢字の作りならこういう意味の仲間かな？」と推測できる優秀な仕組みです。
スポンサーリンク
【その他の選択肢の解説】
大規模な事前学習済みTransformer構造をベースにしており、自己注意機構を用いて文脈表現を生成するため、未知語に対しては辞書登録が必要となる。
BERTなどのTransformer構造は、単語をそのままトークンとして扱うため、事前学習された語彙にない未知語に対しては原則として対応できません。しかし、ELMoは文字レベルの畳み込みニューラルネットワークを活用しているため、見たことのない新しい単語であっても文字の並びから柔軟にベクトルを生成できる点が大きな違いであり、試験でもよく狙われるひっかけポイントです。
静的な単語埋め込み手法であるWord2Vecを拡張したものであり、コーパス全体の共起行列から特異値分解を用いて動的な分散表現を獲得する。
Word2Vecは一つの単語に対して常に一つのベクトルを割り当てる「静的」な単語埋め込み手法であり、文脈によって意味が変わる動的な分散表現は獲得できません。また、特異値分解を用いた共起行列からの抽出はLSA（潜在意味解析）などの古典的な手法の特徴であり、ELMoの動的な仕組みとは根本的に異なります。
畳み込みニューラルネットワークのみを階層的に重ねた構造であり、位置エンコーディングを付加することで単語の前後関係を保持した分散表現を生成する。
位置エンコーディングを付加して単語の前後関係を保持する仕組みは、主にTransformerなどで採用されている特徴です。ELMoはあくまで双方向LSTMをベースにしており、リカレント（RNN系）の構造によって時系列や前後の文脈を順番に処理していくため、この説明は構造の根本的な部分が誤っています。