問題 No.2248
自然言語処理タスクにおいて、リカレントニューラルネットワーク（RNN）を用いた文章生成や機械翻訳を行う際、入力シーケンスの途中に含まれる特定の重要な単語の文脈的影響を効率よく捉え、長期的な依存関係の学習を改善するために一般的に適用される拡張手法として最も適切なものを1つ選べ。
【正解の解説】
過去の情報と現在の入力を選択的にフィルタリングして長期記憶を保持するために、入力ゲートや忘却ゲートを備えたLSTMやGRUなどのゲート付きリカレントユニットを導入する。
人間が長話を聴くときに「重要な部分だけをメモ帳に書き留め、どうでもいい世間話を忘れる」のと同じ仕組みです。通常のRNNは時間が経つと昔の記憶をすぐ忘れてしまいますが、LSTMやGRUはゲートと呼ばれる開閉バルブを持つことで、遠く離れた重要な単語の文脈をしっかりと繋ぎ止めることができます。
スポンサーリンク
【その他の選択肢の解説】
全結合層における勾配消失や勾配爆発を完全に防ぐために、ネットワークの深さを制限してバッチ正規化を各タイムステップに適用する。
バッチ正規化は学習を安定させるための非常に強力なテクニックですが、RNNが抱える「時間が経つと昔の記憶が薄れてしまう」という本質的な構造の弱点を克服することはできません。あくまで補助的な調整手段であり、長期記憶の保持にはゲート機構が必要不可欠です。
文脈情報の双方向からの伝播を可能にするために、未来の単語と過去の単語を同時に処理する双方向リカレントニューラルネットワークを採用する。
双方向RNNは文章の「最初から最後まで」と「最後から最初へ」の両方の流れを同時に見ることで文脈理解を深めますが、遠く離れた過去の情報を忘れずに伝えるという本質的な課題自体を直接解決するものではなく、LSTMのような記憶保持機構と組み合わせて初めて真価を発揮します。
長いシーケンス全体を固定長のベクトルに圧縮するために、畳み込み層を用いて局所的な特徴量を抽出してから全結合層に統合する。
CNNは画像認識などで画像全体の局所的な特徴を捉えるのが得意ですが、言語のような時間の流れがあるデータを扱う場合、単語の順番や遠く離れた単語同士の繋がりを捉えるのには構造上限界があります。長い文脈を保持するには、時系列を順番に処理するRNN系の拡張が必要です。