【疑問】Q学習・SARSA・方策勾配法・Actor-Critic、名前は覚えたけど違いが説明できん【G検定】

強化学習の手法で、Q学習・SARSA・REINFORCE・Actor-Criticが出てくる
どれが何を学んでるんか整理したい

前提のおさらい。行動価値関数 $Q(s,a)$ は、状態 $s$ で行動 $a$ をとってから先の収益の期待値。割引率 $\gamma$ で先の報酬を軽く見る

＞＞1
大きく分けると2つ
価値を学ぶやり方：$Q(s,a)$ を学んで、一番 $Q$ が大きい行動を選ぶ。Q学習とSARSA
方策を学ぶやり方：「どの状態でどの行動をどれくらいの確率でとるか」（方策）を直接学ぶ。方策勾配法とREINFORCE
両方を組み合わせたのがActor-Critic

＞＞3
Q学習の更新式は

かっこの中は「実際にもらった報酬＋次の状態の一番ええ $Q$」と「今の見込み」の差。この差のぶんだけ、学習率 $\alpha$ で少し寄せる

＞＞4
数字で1回やる。今 $Q(s,a)=2$、報酬 $r=1$、次の状態の一番大きい $Q$ が5、$\gamma =0.9$、$\alpha =0.1$

＞＞4
SARSAとQ学習は何が違うん？式がほとんど同じに見える

＞＞6
違うのは次の状態のところだけ。Q学習は「次に一番ええ行動をとる」と仮定して $\max Q$ を使う
SARSAは「次に実際に選んだ行動 $a^{\prime }$」の $Q(s^{\prime },a^{\prime })$ を使う。名前は使う5つ（$s,a,r,s^{\prime },a^{\prime }$）の頭文字
さっきの例で、探索のために $Q=3$ の行動を実際に選んだら、SARSAでは $2+0.1\times (1+0.9\times 3-2)=2.17$

＞＞7
実際に選んだ行動を使うと、何がうれしいん？

＞＞8
探索でたまに変な行動をとることまで込みで価値を見積もるから、慎重な動き方を学びやすい
崖のそばを歩く例がよく出てくる。Q学習は「いつも最善を選ぶなら」崖ぎりぎりの最短ルートを学ぶ。SARSAは「ときどきランダムに動く」のを込みにして、崖から少し離れたルートを選びやすい

＞＞9
それはSARSAのほうがええ、ってことちゃうやろ。探索をやめた後は最短ルートのほうが得やし

＞＞10
そう。どっちがええかは、学習中の失敗がどれくらい痛いかしだい。実機のロボットで学習中に壊したら困るなら慎重なほう、シミュレーションなら気にせんでええ

方策勾配法は、方策をパラメータ $\theta$ で表して、収益の期待値が大きくなる向きに $\theta$ を動かす
価値を経由せんから、ロボットの関節の角度みたいに行動が連続の値でも扱いやすい

＞＞12
REINFORCEはその代表で、ウィリアムズの1992年の論文。1回最後までやって、収益が大きかった行動の確率を上げる
2択の方策で「右」の確率が0.5、収益 $G=10$、学習率0.01なら、ソフトマックスの方策では「右」の重みが $0.01\times 10\times (1-0.5)=0.05$ 増える

＞＞13
収益は運でかなりぶれるやろ。たまたま大きかった回に引っぱられへんの？

＞＞14
引っぱられる。だから勾配のばらつきが大きいのがREINFORCEの弱点
そこで、方策を学ぶ役（Actor）とは別に、状態の価値を見積もる役（Critic）を置くのがActor-Critic

＞＞15
Criticは「思ったよりよかったか」を数字で返す。$V(s)=4$ と見積もってた状態で、報酬1をもらって $V(s^{\prime })=5$ の状態に移ったら

正やから、Actorはこの行動の確率を上げる。1回の収益まるごとより、ぶれが小さい

＞＞16
まとめると、Q学習・SARSAは価値、REINFORCEは方策、Actor-Criticはその両方。この区別で選択肢はだいぶ絞れる