問題 No.1679
時系列データを用いた自然言語処理タスクにおいて、LSTM(Long Short-Term Memory)が勾配消失問題の解決に貢献している。このLSTMブロック内にある「入力ゲート」の役割として最も適切なものを1つ選べ。
【正解の解説】
現在の入力情報のうち、どれだけの量をセル状態(長期記憶)に書き込んで更新すべきかを決定し制御する。
入力ゲートは、新しい入力信号に対しシグモイド関数を用いて出力を0から1の範囲に調整し、どの程度セル状態を更新するかの重要度を決定する役割を持ちます。
スポンサーリンク
【その他の選択肢の解説】
過去のセル状態から、不要になった情報をどれだけ忘れるかを決定し、メモリセルをリセットする。
過去の情報を削除して保持する記憶量を調整するのは「忘却ゲート(Forget Gate)」の機能であり、本問の入力ゲートとは異なります。
現在の入力情報をシグモイド関数で変換し、隠れ層の出力に直接反映させるかどうかを判断する。
最終的に出力される値を決定するのは「出力ゲート(Output Gate)」であり、入力ゲートは主にメモリセルの内容更新に関する調整を行います。
入力されたデータ全体に対してソフトマックス関数を適用し、時系列データ内のどの時刻を重視するかを決定する。
時系列データの重み付けを行うのはAttention(注意機構)の仕組みであり、LSTMのゲート制御とはアプローチが異なります。