問題 No.1824
ディープラーニングにおいて、時系列データや自然言語処理などの順序情報を扱う際に用いられるRNN（再帰型ニューラルネットワーク）やその発展形であるLSTMの内部において、情報の保持や忘却、出力を制御するために用いられる仕組みとして適切なものはどれか。
【正解の解説】
過去から受け継いだ情報や新たに入力された情報に対してゲート機構を適用し、次のステップや外部へ流す情報を制御する
人間が会議のメモを整理し、必要な情報だけを次の人に引き継ぎ、不要な部分は忘れる作業に似ています。LSTMの出力ゲートは、これまでの文脈をすべて垂れ流すのではなく、今まさに必要な情報だけを厳選して次へ渡すことで、長期的な文脈の理解を可能にする非常に重要な役割を担っています。
スポンサーリンク
【その他の選択肢の解説】
過去から受け継いだ情報や新たに入力された情報に対して勾配補正を適用し、誤差の逆伝播における消失を動的に調整する
ディープラーニングの学習時に発生する「勾配爆発」や「勾配消失」を防ぐための仕組み（勾配クリッピングやAdamなどの最適化アルゴリズム）と混同させようとする罠です。出力ゲートは情報の流れを制御するフィルターであり、数学的な勾配そのものを補正する機能ではないため注意が必要です。
過去から受け継いだ情報や新たに入力された情報に対して重み付けを適用し、ネットワーク全体の構造を自動的に最適化する
ニューラルネットワークの学習時に行われる重み（シナプスの結合強度）の更新や、構造そのものを自動探索する技術（NASなど）のイメージと混ざりやすい記述です。出力ゲートは、あらかじめ学習された重みを使って時々刻々と変化するデータを処理する「情報の交通整理役」であり、構造そのものを変えるものではありません。
過去から受け継いだ情報や新たに入力された情報に対して活性化関数を適用し、非線形な特徴量を抽出して次層へ伝播する
シグモイド関数やReLU関数などの活性化関数は、入力された数値に対して非線形な変換をかける役割を持っています。出力ゲートの内部でも活性化関数は使われますが、選択肢の記述はゲート機構全体の機能というよりは基本部品の説明に終始しており、情報の保持や忘却を制御する本質的な説明から外れています。