問題 No.2396
自然言語処理や音声認識などの分野で広く用いられるsequence-to-sequenceモデルの学習や推論の特性に関して、不適切なものはどれか。
【正解の解説】
入力系列と出力系列のデータ構造や長さが完全に一致している場面においてのみ適用可能なアーキテクチャである。
料理のレシピで例えると、食材の数と出来上がりの料理の皿数がバラバラでも対応できる仕組みです。sequence-to-sequenceは「英語の短い文から長い日本語の文章を作る」といったように、入力と出力で長さや形が完全に異なっていてもスムーズに変換できる点が最大の武器であるため、一致している場面限定という記述は誤りになります。
スポンサーリンク
【その他の選択肢の解説】
エンコーダによって入力系列を固定長の文脈ベクトルへ圧縮し、デコーダから任意の長さを出力する仕組みを持つ。
この選択肢はsequence-to-sequenceの基本動作を正確に述べています。よくある勘違いとして「入力と出力の長さが同じでなければならない」と思い込んでしまう点がありますが、実際には長い小説の要約のように、短い入力から長い出力を作り出すことも自由自在に行えるのがこのモデルの優れた特徴です。
アテンション機構を組み合わせることで、長い系列データを処理する際の情報の散逸やボトルネックを緩和できる。
人間が長文を読むときに重要な部分にだけマーカーを引くように、アテンション機構は入力のどの部分に注目すべきかを動的に判断します。固定長のベクトルにすべてを詰め込むことで情報が薄まってしまう弱点を克服するための重要技術であり、初学者が混同しやすい発展的な仕組みとしてよく試験に出題されます。
機械翻訳や対話生成などのタスクにおいて、入力文脈の順序情報を考慮しながら単語や音素を逐次的に予測する。
言葉というものは「単語の順番」が変わると意味がガラリと変わってしまいます。sequence-to-sequenceはRNNやLSTMなどのネットワークを内部で用いることで、単語が並ぶ順番の流れをしっかりと記憶しながら、次に続く自然な単語を順番に当てていくことができるため、機械翻訳やチャットボットで大活躍しています。