【疑問】DQNと、ダブルDQN・デュエリングネットワーク・ノイジーネットワーク・Rainbow・APE-X・Agent57の改良【G検定】

深層強化学習のDQNのあとに、ダブルDQN・デュエリング・ノイジー・Rainbow・APE-X・Agent57と改良が並んでる。それぞれ何を直したん？

前提のおさらい。Q学習は、状態 $s$ で行動 $a$ をとったときの価値 $Q(s,a)$ を表にして、もらった報酬と次の状態の一番大きい $Q$ で少しずつ直していく
直す先（目標）は $r+\gamma {\max }_{a^{\prime }}Q(s^{\prime },a^{\prime })$。報酬1、割引率0.9、次の状態の最大の $Q$ が5なら、$1+0.9\times 5=5.5$。今の $Q$ が4なら、差の1.5の分だけ近づける

＞＞1
DQNは、ムニらの2015年の論文。$Q$ の表の代わりに、ゲーム画面を入力にした畳み込みニューラルネットワークで $Q$ を出す
Atariのゲームで、多くのゲームで人間並みの点を出した

＞＞3
表をネットワークにしただけなら、昔からできたんちゃうの？

＞＞4
そのままやると学習が不安定になる。続けて集めたデータはよく似てるし、直す先の目標も同じネットワークで動いてしまう
DQNは2つの工夫を入れた
経験再生：集めた経験をためておいて、ランダムに取り出して学習する
ターゲットネットワーク：目標を計算するネットワークを別に持って、しばらく固定しておく

＞＞5
ダブルDQNは、$Q$ を大きく見積もりすぎる問題を直した
本当の価値がどちらも0の行動が2つあって、見積もりが毎回+1か−1にぶれるとする。大きいほうを選ぶと、+1になる確率は3/4で、平均は0.5。何もしなくても大きめに出る
そこで、どの行動を選ぶかは学習中のネットワーク、その行動の価値はターゲットネットワークで計算して、選ぶのと評価するのを分ける

デュエリングネットワークは、$Q$ を「その状態自体の価値 $V$」と「各行動の有利さ $A$」に分けて出す
$Q=V+A-(A$ の平均$)$。$V=3$、$A=(2,0,-2)$ なら、$Q=(5,3,1)$
どの行動を選んでもあまり変わらない状態で、$V$ をまとめて学べるのが利点

＞＞5
探索はε-greedyのままなん？

＞＞8
ノイジーネットワークは、ネットワークの重みに、大きさを学習できるノイズを入れて探索させる。εを手で決める代わりに、どれだけ試すかもネットワークが学ぶ

Rainbowは、ダブルDQN・デュエリング・ノイジーなど、それまでの6つの改良をまとめて入れたもの。合わせると、どれか1つより強かった
APE-Xは、ホーガンらの2018年の論文。たくさんの行動役（アクター）で同時に経験を集めて、1つの学習役にまとめて送る分散型

＞＞10
Agent57は、バディアらの2020年の論文。Atariの57本のゲームすべてで、人間の基準の点を上回った
報酬がなかなかもらえないゲームでもうまく探索する工夫と、探索の強さをゲームごとに選ぶ仕組みを入れてる

＞＞11
57本全部というのが大事で、それまでの改良は平均点は高くても、報酬がめったに出ない一部のゲームでほとんど点が取れなかった