問題 No.3225
多腕バンディット問題において、あるスロットル $i$ がこれまでに選ばれた回数が $n_i = 10$ 回であり、その時点での平均報酬が $\bar{X}_i = 0.6$ であったとする。全体試行回数が $t = 100$ 回であるとき、UCB1方策（Upper Confidence Bound 1）における信頼区間の上界を加味したスコア $U_i$ の値として最も適切なものを次の中から選べ。なお、計算には自然対数を使用し、必要に応じて小数点以下第3位を四捨五入すること。
【正解の解説】
$1.23$
UCB1方策は「実績の良さ」と「まだあまり試していないという不確実性のワクワク感」を足し合わせて次に挑戦するスロットルを選ぶ手法です。ここでは平均報酬0.6に、試行回数が少ないことによるボーナス約0.63が上乗せされるため、合計して1.23というスコアになり、これが最も適切です。
スポンサーリンク
【その他の選択肢の解説】
$0.93$
平均報酬の0.6に不十分なボーナス値を足してしまっているため、試行回数が少ないことによる探索の重要性を過小評価しています。UCB1の式における分子の全体試行回数や分母の選択回数の対数計算でうっかりミスをするとこの値にたどり着いてしまうため注意が必要です。
$1.53$
平均報酬に加算する信頼区間の幅を実際よりも過大に見積もってしまったケースです。例えば、対数の底を間違えたり平方根の計算手順を飛ばして勘で解いた人が引っかかりやすい、出題者が用意した典型的な引っかけ選択肢の一つとなっています。
$0.63$
これは探索を全く考慮せず、ただ目の前の平均報酬だけで選んでしまう貪欲法のような状態の数値です。UCB方策の最大の特徴である「不確実なものに挑戦するボーナス（信頼区間の上界）」を計算に入れ忘れた人が思わず選んでしまう典型的な誤答です。