問題 No.2854
多層のニューラルネットワークにおいて、勾配消失問題を回避しつつ効率的な初期重みを得るために、積層オートエンコーダを用いて各層を段階的に事前訓練する手法の名称を1つ選べ。
【正解の解説】
一層ずつ教師なし学習でオートエンコーダの訓練を行い、得られた重みを下位層の初期値として順次転写してネットワーク全体を構成する。
これは、複雑な建物を建てる前に頑丈な鉄骨を一層ずつ確実に組んでいくような事前準備の作業です。ディープラーニングの初期において、ランダムな重みから一斉に学習させると、途中で信号が消えてしまう「勾配消失問題」が起きてしまいます。そこで、下から順番に「入力の特徴を捉える練習」をあらかじめ個別に済ませておくことで、本番の学習がスムーズに進む理想的なスタートラインを作り出します。
スポンサーリンク
【その他の選択肢の解説】
全結合層の重みをランダムに初期化した後で、出力層側から入力層側に向かって誤差逆伝播法を適用し全体を一括して最適化する。
初学者が最も混同しやすい通常の学習方法（教師あり学習）の手順を述べています。最初からすべての重みをデタラメに初期化して一気に最適化しようとすると、層が深くなるにつれてエラーが途中で消えてしまい、うまく学習が進まないという罠に陥ります。積層オートエンコーダが行うような「事前の下積み」をスキップしてしまう点が決定的な違いです。
各層の活性化関数に線形関数を採用し、主成分分析と同様の数学的変換を繰り返し適用することで全層の結合係数行列を直接計算する。
主成分分析（PCA）などの線形手法を持ち出すことで、オートエンコーダの本質である「非線形なデータの圧縮と復元」という能力が失われてしまいます。数学的な一発計算では、複雑に入り組んだ現実世界のデータや画像に潜む深層的な特徴を捉えきれないため、段階的に重みを最適化していく積層オートエンコーダの仕組みとはアプローチが根本的に異なります。
入力データを複数のミニバッチに分割して並列処理させ、それぞれの学習結果で得られた重みを平均化して下位層の初期値に統合する。
コンピュータの計算処理を速くするための「分業体制（並列処理・分散学習）」に関する記述であり、ニューラルネットワークの重みの初期値を賢く設定する目的とは完全にズレています。ミニバッチ分割は学習効率を上げるためのアプローチですが、層ごとの事前訓練や勾配消失問題の回避という本質的な課題を解決するものではないため、出題者の罠となりやすい選択肢です。