問題 No.2274
人間のフィードバックによる強化学習（RLHF）の訓練プロセスにおいて活用される手法や構成要素の組み合わせとして不適切なものはどれか。
【正解の解説】
人間による評価を行わずに、事前に用意された正解ラベルのみを用いてモデルの重みを直接逆伝播で更新する教師あり学習の専用アルゴリズムである。
料理の修行に例えると、RLHFは師匠が客の反応を見て「こっちの味が好まれているぞ」とフィードバックを与えて味を調整するプロセスですが、選択肢Aはただマニュアル通りの正解レシピをそのまま暗記させるだけの普通の勉強法を指しています。人間による選好や報酬という強化学習の仕組みが含まれていないため、不適切となります。
スポンサーリンク
【その他の選択肢の解説】
事前学習済みの言語モデルをベースとして使用し、人間の選好データを収集した上で報酬モデルを構築し、それに基づく報酬を最大化する方針最適化を行う。
これはまさにRLHFの標準的で正しい王道のプロセスを説明しています。基礎知識を叩き込んだAIに対して、人間が「この回答の方が分かりやすい」と好みを教え込み、その人間の好みを模倣するAI（報酬モデル）を作った上で、AI自身に試行錯誤させながらより良い回答を生み出すように調整していく一連の流れそのものです。
人間が提示する複数の出力候補に対する優劣のランキング情報を用いて、モデルが生成するテキストの質を向上させるための報酬関数を学習させる。
AIが生成した複数の答えに対して人間が「AよりBの方が優れている」と順位をつけるランキングデータは、報酬モデルの訓練において非常に重要な役割を果たします。人間直々の正解を一つずつ教えるのではなく、どちらが良いかの比較を学習させることで、人間の倫理観や好みに沿った報酬関数を正確に作り上げることができます。
報酬モデルから得られる評価スコアをスカラー報酬に変換し、近傍方策最適化などの強化学習アルゴリズムを用いて大規模言語モデルの方策を微調整する。
報酬モデルがはじき出した評価を数値（スカラー報酬）に置き換え、PPO（近傍方策最適化）などの強化学習アルゴリズムを用いてAIのパラメータを微調整するのは、RLHFの最終段階で使われる極めて一般的な技術です。AIが暴走しないよう少しずつ賢くしていくためのブレーキとアクセルの役割を果たしており、非常に適切な記述です。