問題 No.1576
あるニューラルネットワークの学習において、パラメータ $w$ の初期値が $3.0$ であった。損失関数 $L(w) = w^2$ に対し、勾配降下法を用いてパラメータの更新を1回行う。学習率 $\eta$ が $0.1$ のとき、更新後のパラメータ $w$ の値として正しいものはどれか。
【正解の解説】
2.4
これは、霧の中で足元の傾りを感じ取りながら、一番低い谷底へ向かって一歩だけ慎重に下る動きに似ています。まず現在地3.0における損失関数の傾き（微分値）は2wなので6.0になります。ここに学習率0.1をかけた0.6を現在地から引き算することで、より正解に近づいた2.4という新しいパラメータにたどり着くことができます。
スポンサーリンク
【その他の選択肢の解説】
3.6
勾配降下法は「損失（エラー）を減らす」ために傾きの向きとは反対の方向にパラメータを動かすアルゴリズムです。もしここで符号を間違えてプラス方向に進んでしまうと、谷底から遠ざかってしまいエラーが余計に増えてしまいます。これは暗闇で山を下るつかみが、逆に山頂へ向かって歩き出してしまう致命的な勘違いにあたります。
2.8
もし計算の途中で学習率の係数を0.1ではなく別の値と勘違いしたり、微分係数の計算で数値を誤るとこうした数字に惑わされます。勾配降下法は「現在地 - (学習率 × 勾配)」という極めてシンプルな引き算の組み合わせで成り立っているため、焦って暗算せず一つひとつの数値を丁寧に式に当てはめて計算する冷静さが合格への近道となります。
3.3
この数値は、パラメータを更新する際に十分な歩幅（学習率）をとらなかったり、引き算の引きすぎを恐れて中途半端に止まってしまった状態を指します。機械学習において学習率が小さすぎると、いつまで経っても目標の谷底にたどり着かない「学習が進まない状態」に陥るため、適切なステップ幅でパラメータを更新する感覚が非常に重要になります。