【疑問】A3C・PPOと、アルファスター・OpenAI Five・マルチエージェント強化学習・連続値制御・報酬成形・RLHF【G検定】

DQNの次にA3CとPPOが出てきて、そのあとアルファスターやRLHFまで並んでる。DQNと何が違うん？

前提のおさらい。DQNは、行動ごとの価値 $Q$ をネットワークで出して、一番大きい行動を選ぶ。経験再生とターゲットネットワークで学習を安定させた

＞＞1
A3CとPPOは、価値から行動を選ぶんやなくて、行動の確率（方策）そのものをネットワークで直接学ぶ側
A3Cは、ムニらの2016年の論文。たくさんの作業役が別々の環境で同時に動いて、それぞれ勝手なタイミング（非同期）で共有のネットワークを更新する。方策を出す役（アクター）と、その良し悪しを評価する役（クリティック）を組み合わせる

＞＞3
PPOは、シュルマンらの2017年の論文。方策を1回で大きく変えすぎないように、新しい方策と古い方策の確率の比を $1\pm \epsilon$ の範囲で切る（クリップする）
$\epsilon =0.2$ で、比が1.5、有利さが2なら、そのままだと $1.5\times 2=3$ やけど、1.2で切って $1.2\times 2=2.4$ にする。それ以上がんばって変えても得にならない

＞＞4
わざわざ得を減らすんか。学習が遅くならん？

＞＞5
1回の更新の幅は小さくなる。そのかわり、一度大きく外れて方策が壊れる事故が減るし、計算も簡単。それで実際にいろんなところで標準のように使われてる

対戦AIの例
アルファスター（AlphaStar）は、ヴィニャルスらの2019年の論文。StarCraft IIで、人間の上位0.2%に入るグランドマスターの水準に届いた
OpenAI Fiveは、5人対5人のDota 2で、2019年に世界大会の優勝チームに勝った

＞＞7
どっちも、自分と戦う相手も学習するエージェントやな。それがマルチエージェント強化学習（MARL）
相手も変わり続けるから、ある相手に強い戦い方が別の相手に弱い、ということが起きる。アルファスターは、いろんな戦い方のエージェントを集めたリーグの中で対戦させて、それに対応した

＞＞2
ロボットの関節の力みたいに、行動が「左・右」やなくて連続した数のときはどうするん？

＞＞9
それが連続値制御。DQNは行動ごとに $Q$ を出して最大を選ぶから、行動が無数にあると使いにくい
方策のネットワークが、たとえば正規分布の平均と広がりを出して、そこから行動の値をとる。PPOはこの形でも使える

報酬成形は、ゴールしたときだけ報酬を出すと学習が進まない場面で、途中の進み具合にも報酬を足すこと
ただ、足し方を間違えると、ゴールせずに途中の報酬だけを稼ぐ動きを覚えてしまう

＞＞11
RLHFは、人のフィードバックによる強化学習。人間が2つの出力のどちらが良いかを選んで、その好みを当てる報酬のモデルを学習し、その報酬で方策を強化学習する
報酬のモデルの点がAが2、Bが1なら、Aが選ばれる確率を $\sigma (2-1)\approx 0.73$ と見積もる。大規模言語モデルの答えを人の好みに合わせる調整で使われてる