【疑問】一番当たる台だけ打ち続けたらあかんの？バンディットのε-greedyとUCB【G検定】

スロットが3台あって、今まで一番当たってる台だけ打ち続ければええやん
バンディットアルゴリズムって何のためにあるん？

前提のおさらい。強化学習は、行動の結果にもらえる報酬の合計が大きくなるように行動のしかたを学ぶ。バンディットは、状態が変わらず「どれを選ぶか」だけを決める、一番単純な形

＞＞1
今の見込みは、たまたま当たった数回で決まってるかもしれん。ほかの台を試さんと、本当はもっと当たる台を見逃す
今いちばんよさそうなものを選ぶのが活用、まだよく知らんものを試すのが探索。この2つのバランスをとるのがバンディットアルゴリズム

＞＞3
ε-greedy方策は単純で、確率 $\epsilon$ でランダムに選び、残りは今いちばんよさそうなものを選ぶ
$\epsilon =0.1$ で3台なら、いちばんよさそうな台を選ぶ確率は $0.9+0.1/3\approx 0.93$

＞＞4
ランダムやと、明らかにハズレの台にもずっと同じ割合で回すことになるやん。もったいない

＞＞5
そこを改善したのがUCB方策。「平均の報酬」に「まだあまり試してない分のおまけ」を足した点数で選ぶ

全部で $t=100$ 回のうち、A台は80回打って当たり率0.6、B台は20回で0.5なら
A：$0.6+\sqrt{2\ln 100/80}\approx 0.94$、B：$0.5+\sqrt{2\ln 100/20}\approx 1.18$
平均は低くても試した回数が少ないBを選ぶ。試すほどおまけは小さくなる

＞＞6
Web広告でどの広告を出すか、どのデザインを見せるか、みたいな場面で使われるんやな。見せながら同時に学べる