問題 No.1920
ディープラーニングにおける効率的なモデル最適化に関する研究を進める中で、ランダムに初期化された大規模なニューラルネットワークの内部に、適切な重みを持つ小さな部分ネットワークが潜んでおり、それ単体でも十分な性能を発揮できるという仮説が提唱されている。この仮説に基づき、初期化時の接続関係を保持したまま不要な重みを除去する手法の理論的背景となった概念はどれか。
【正解の解説】
宝くじ仮説
大量生産された「はずれくじ」だらけの宝くじの中に、ごく稀に一等当たる「当たりくじ」が混ざっている様子に似ています。ディープラーニングの世界でも、ランダムに作られた巨大な神経回路網の中に、最初から初期値の運が良くてそれ単体で十分に高い性能を発揮できる奇跡的な部分ネットワーク（当たりくじ）が潜んでおり、それを引き当てて効率よく学習させようという考え方が宝くじ仮説の核心です。
スポンサーリンク
【その他の選択肢の解説】
二重降下現象
これはネットワークのパラメータ数と汎化性能の関係を示す「二重降下現象」の説明であり、不要な重みを取り除く剪定理論とは異なります。初学者は、モデルの効率化や最適化という似たような文脈で語られるため混同しやすいですが、二重降下現象は「モデルを大きくしすぎると一度性能が落ちてからまた良くなる」という不可思議な挙動そのものを指す言葉なので注意が必要です。
容量削減仮説
このような名称の定着した学術的理論や主要な仮説は存在せず、出題者がそれっぽい用語として作り出したダミーの選択肢です。宝くじ仮説のように「初期化時の接続関係を保持したまま不要な重みを除去する」という特定の手法の理論的背景には結びつかないため、用語の響きに惑わされないように注意深く見極める必要があります。
蒸留学習理論
これは「知識の蒸留」と呼ばれる手法の解説であり、問題文にある「初期化時の接続関係を保持したまま不要な重みを除去する」というアプローチとは異なります。蒸留学習はすでに賢くなった大きなモデルから小さなモデルへ知恵をコピーする技術ですが、宝くじ仮説は最初から網の中に眠っていた優秀な小規模ネットワークを発掘するという違いがあるため、明確に区別して覚える必要があります。