【正解の解説】
時系列データの長距離の依存関係を学習する際、誤差逆伝播法における勾配消失や勾配爆発の問題が原理的に発生しないため、無限に長い過去の情報を保持できる。
RNNは過去の情報を保持し続けようと計算を繰り返すと、昔の情報の重みが極端に薄れる「勾配消失」や、逆に数値が発散する「勾配爆発」という致命的な問題が原理的に発生します。無限に過去を覚えられるわけではなく、これが原因で長期の文脈学習が苦手になります。例えるなら、伝言ゲームを何百人も経由すると最初の言葉が完全に消えてしまうような現象です。
【その他の選択肢の解説】
隠れ状態の更新において、過去の情報を順番に圧縮して保持するため、入力データの順序を入れ替えても出力結果は変化しない。
これは順序関係を持たない通常の全結合層や一部の画像処理モデルの性質であり、時系列データを扱うRNNでは致命的な誤りです。RNNは「私は」「リンゴを」「食べた」という言葉の順番（前後の文脈）が極めて重要であり、順番を入れ替えると意味が通じなくなります。料理のレシピで「焼いてから切る」のと「切ってから焼く」で結果が変わるのと同じ原理です。
全結合層とは異なり、同一の重みパラメータを時間ステップ間で共有しながら順伝播の計算を行うことで、可変長の入力に対応できる。
これはリカレントニューラルネットワークの正しい基本構造の説明です。何文字あっても同じ「脳みそ（重み）」を使い回して順番に処理するため、文字数がバラバラな文章でも柔軟に処理できるのがRNNの大きな特徴です。まるで同じ人が文章を1文字ずつ左から右へ順番に読み進めていくようなイメージで、長さに縛られない柔軟性を実現しています。
過去の情報を保持するためにゲート機構を導入した発展形では、忘却ゲートや出力ゲートなどを適切に制御することで情報の流れを調整できる。
これはRNNの弱点を克服するために生まれたLSTMやGRUといった発展形アーキテクチャの正しい説明です。通常のRNNが持つ「すぐ忘れてしまう」という弱点を補うために、情報の引き出しやゴミ箱行きを判断する「自動ドア（ゲート）」を取り入れた構造をしています。大事な予定は手帳にメモして、不要なチラシは即座に捨てるという人間の賢い情報整理の仕組みを数式で再現したものです。