問題 No.1853
時系列データや自然言語などの連続的な情報を処理するために、内部にフィードバックループを持ち、過去の入力情報を隠れ状態として保持・伝播させることが可能な神経ネットワークの層はどれか。
【正解の解説】
回帰結合層
人間が小説を読むとき、前のページの展開を覚えていないと次のページの意味が理解できないのと同じです。回帰結合層は、これまでの記憶（隠れ状態）を次の処理へとバトンタッチしていく仕組みを持つため、文章や音声のような時間の流れがあるデータを理解するのに欠かせない脳の記憶回路のような役割を果たします。
スポンサーリンク
【その他の選択肢の解説】
畳み込み層
畳み込み層は、写真に猫が映っているかを見つけるような空間的な特徴の認識には圧倒的な強さを誇りますが、時間の経過や前後の文脈という「前後のつながり」を記憶する仕組みを持っていません。時間軸を無視して一瞬の切り取りで判断するため、時系列データや自然言語のように順番が重要な問題では単体ではうまく機能しないという特徴があります。
全結合層
全結合層は、受け取ったデータに対して単純な足し算と掛け算を網の目のようにフルで行うオールラウンダーですが、過去の情報を次のタイミングへ持ち越すようなフィードバックのループを持っていません。そのため、単独では「今入力されたデータ」しか見ておらず、過去の文脈を考慮した連続的な情報を処理することができないという大きな違いがあります。
注意機構層
注意機構層（アテンション）は、長い文章の中で特にどの単語が重要かを指し示すものであり、RNNなどのモデルの弱点を補うために組み合わせて使われます。単体で過去の情報を順番にバトンタッチしていく隠れ状態の伝播を行うネットワーク層そのものではないため、問題文にある「情報を保持・伝播させる神経ネットワークの層」という定義とは少し役割が異なります。