問題 No.2709
ディープラーニングのネットワーク構造において、特定の層を飛び越えて信号を後続の層へ直接伝達させることで、ネットワークが深くなった際の勾配消失を防ぎ、効率的な勾配の逆伝播を可能にするアーキテクチャ上の工夫はどれか。
【正解の解説】
スキップ結合
まるで複雑な迷路で、普通の通路を進むと行き止まりになってしまうところを、一気にゴール手前までワープする「秘密の抜け道」を作ってあげるような仕組みです。これにより、何層も深く積み重ねたネットワークの学習時に、情報が途中で薄まって消えてしまう「勾配消失」という大問題を見事に防ぎ、スムーズに正解の信号を奥深くまで届けることができます。
スポンサーリンク
【その他の選択肢の解説】
ドロップアウト
これは「チーム戦で毎回ランダムにメンバーを何人か休ませる」ことで、特定の誰かに依存しすぎない強いチームを作るドロップアウトの説明です。層を飛び越えて信号を伝えるスキップ結合とは目的も仕組みも全く異なるため、混同しないように注意が必要です。
バッチ正規化
学校のテストで全員の点数のバラつきを補正する「偏差値」のような仕組みであり、データが暴走するのを防いで学習をスムーズにします。信号の通り道そのものをショートカットさせるスキップ結合とはアプローチが異なるため、混同しやすいので注意してください。
アテンション機構
人間が文章を読むときに重要なキーワードに自然と目を向けるような機能を再現したもので、主に自然言語処理などで使われます。情報のショートカットによって勾配消失を防ぐスキップ結合とは役割が根本的に違うため、出題者の罠に引っかからないようにしましょう。