問題 No.2090
機械学習における継続学習（Continual Learning）に関する記述として、最も不適切なものを1つ選べ。
【正解の解説】
新しく学習したタスクの知識が過去のタスクの性能に影響を与えない性質を指すものであり、モデルがいかに過去の忘却を防ぐかという課題とは無関係である。
継続学習の最大のテーマはまさに「過去の忘却を防ぐこと」であり、これをカタストロフィック・フォゲットイング（破滅的忘却）と呼びます。人間が新しい英単語を覚えるときに昔覚えた数学の公式を忘れてしまうようなもので、いかに過去の記憶を保持しつつ新しいことを学ぶかが肝心です。したがって、忘却の課題とは無関係とする本記述は不適切であり、これが正解となります。
スポンサーリンク
【その他の選択肢の解説】
タスクの切り替え時に過去の学習データを再度読み込ませることで、モデル構造を保持したまま新しい知識のみを効率的に上書きする手法である。
過去のデータを再度読み込ませて忘却を防ぐ手法は実際に存在し、これをリプレイ（経験再生）と呼びます。例えば、試験勉強で新しい範囲をやるときに、前にやった模試を解き直すことで前の記憶を定着させるのと同じイメージです。しかし今回の問題文では「最も不適切なもの」を求めており、選択肢Aの致命的な嘘に比べると、こちらは実際の学習手法のメカニズムを説明したものとなっています。
過去のタスクで得たパラメータの重要度を算出し、新しいタスクの学習時に重要なパラメータの更新を制限することで忘却を抑制するアプローチである。
人間で例えるなら、人生の教訓となるような絶対に忘れちゃいけない重要な記憶の領域に鍵をかけ、細かい日常の雑用を覚えるときは別の脳の引き出しを使うような工夫です。機械学習でも過去のタスクで重要だったニューロンの結合を壊さないように保護することで、新しい学習による忘却を防ぐ立派な技術の一つです。
人間が新しい知識を習得する際にも古い記憶が薄れるのと同様に、ニューラルネットワークが新たなパターンを学ぶと過去の性能が低下する現象を指す。
新しい情報を次々と詰め込むと古い記憶が上書きされて消えてしまう現象は、AIだけでなく人間の脳でもおなじみの悩みです。継続学習はこの「新しいことを学ぶと古いことを忘れる」という避けられない宿命に立ち向かう分野であり、人間がノートに復習して記憶を保つのと同じように、AIでも様々な対策が研究されています。