問題 No.1770
ディープラーニングのモデル学習において、活性化関数としてReLUを使用する際、入力値が常に負の領域に固定されてしまい、勾配が一切更新されずニューロンが実質的に死滅してしまう現象を指す用語はどれか。
【正解の解説】
Dying ReLU
これは、学校の授業で一度寝てしまったが最後、先生に当てられなくなって完全にやる気を失い、二度と授業についていけなくなる生徒のような状態です。ReLU関数は負の入力をすべてゼロにしてしまうため、運悪く一度でも大きく負の数値を受け取って出力がゼロになってしまうと、そこからの学習信号（勾配）が一切流れなくなり、そのニューロンはまるでゾンビのように死んだまま機能しなくなってしまいます。
スポンサーリンク
【その他の選択肢の解説】
Vanishing Gradient
Dying ReLUが「特定のニューロンが局所的に死滅する現象」を指すのに対し、こちらは「ネットワーク全体でシグモイド関数などの影響により学習のシグナルが全体的に薄れて消えてしまう現象」です。どちらも勾配がなくなる点では似ていますが、発生する原因と影響範囲が異なるため混同に注意が必要です。
Leaky ReLU
Dying ReLUの弱点を克服するための改善策の名前であり、問題文にある「現象そのもの」を指す用語ではありません。例えるなら、Dying ReLUが「完全に閉まって二度と開かない自動ドア」だとすれば、Leaky ReLUは「わずかに隙間を開けておいて、いつでも再始動できるようにしたドア」のようなもので、用途が全く異なります。
Overfitting
過去問の答えを丸暗記してしまい、少しでも問題の聞き方が変わると全く解けなくなってしまう優等生のような状態を指します。ニューロンが死滅するネットワークの構造的な問題や学習の停滞を指すDying ReLUとは意味が全く異なるため、試験の選択肢によく出てくる典型的なダミー用語として覚えておきましょう。