問題 No.4079
リカレントニューラルネットワーク（RNN）に関する記述として不適切なものを1つ選べ。
【正解の解説】
RNNはネットワーク構造内にフィードバックループを持たないため、時系列データの順序情報を保持することができない。
RNNは過去の記憶を今の判断に繋げるため、まさに「人間の会話や読書」のように、直前の文脈を頭の中に保持しながら次の言葉を予測していく仕組みを持っています。これがないと前の単語をすぐに忘れてしまい、文章全体の意味を理解できないため、ループ構造が必須となります。
スポンサーリンク
【その他の選択肢の解説】
RNNは過去の出力を現在の入力とともに再度ネットワークへ入力することで、任意の長さの時系列データを処理することができる。
試験では「RNNがどのような仕組みで過去の情報を引き継ぐのか」という基本構造が問われます。過去の計算結果を次のステップにバトンタッチしていくリレー走のような構造をイメージできれば、この記述が正しいことが一発で納得できます。
RNNの学習時には時間方向に展開したネットワークに対して誤差逆伝播法を適用するため、バックプロパゲーション・スルー・タイムと呼ばれる手法が用いられる。
通常のニューラルネットワークとは異なり、時間軸に沿って過去へ遡りながら誤差を伝播させるため、BPTTという専用の名前がついています。初学者は通常の誤差逆伝播法との違いや、なぜ「時間」がつくのかをセットで覚えておく必要があります。
RNNは時系列の順序関係を処理する際に過去の情報を記憶し続けるが、系列が長くなるにつれて勾配消失問題が発生しやすいという課題を抱えている。
遠い過去の出来事ほど記憶が薄れる人間の脳と似ており、RNNも長い文章を処理すると最初のほうの記憶が消えてしまいます。この弱点を克服するためにLSTMなどの発展形が生まれたという文脈を合わせて理解しておくと、試験で非常に有利になります。