問題 No.1866
機械学習における最適化問題で用いられる勾配降下法において、1回のパラメータ更新に訓練データ全体ではなく、ランダムに抽出した一部のデータセットを利用する手法を何というか。
【正解の解説】
確率的勾配降下法
これは、1000冊の本を全部読んでから感想をまとめるのではなく、まず1冊だけパラパラと読んで「こういう傾向の本だな」と大まかな予測を立て、それをどんどん繰り返して精度を上げていくようなものです。データ全体を計算すると時間がかかりすぎるという悩みを一気に解決し、効率よく正解に近づくための非常に賢いアプローチです。
スポンサーリンク
【その他の選択肢の解説】
バッチ勾配降下法
これは、学校のテストでクラス全員の回答を丸一日かけて集計してからでないと、自分の苦手な部分が分からないような状態です。正確な計算ができる一方で、データが膨大になると1回パラメータを動かすだけで膨大な時間がかかってしまうため、実際の巨大な機械学習では現実的ではありません。
ミニバッチ勾配降下法
確率的勾配降下法の「1個ずつではブレすぎて不安定、かといってバッチ全体の計算は重すぎる」という欠点を絶妙に補う折衷案です。現実のAI開発やディープラーニングでは、このちょうど良いまとまりを使う方法が計算効率と精度のバランスが最も良いため、事実上の標準として広く採用されています。
モーメンタム勾配降下法
これは、坂道を転がり落ちるボールが、途中の小さなボコボコ（くぼみ）にハマって止まってしまわないよう、これまでの勢いをつけて一気に乗り越える仕組みに似ています。データの選び方そのものを指す言葉ではなく、更新のスピードや軌道を賢く調整するテクニックである点が、今回の問題文の条件とは異なります。