【疑問】強化学習の「割引率0.9」って何を割り引いてるん？マルコフ決定過程と状態価値・行動価値【G検定】

強化学習の説明で、マルコフ決定過程・割引率・状態価値関数・行動価値関数が一気に出てきて追いつけん

前提のおさらい。強化学習は、正解を教えるかわりに行動の結果に報酬を与えて、報酬の合計が大きくなる行動のしかたを学ぶ。自分の行動で次に見るデータが変わるのが特徴

＞＞1
マルコフ決定過程（MDP）は、強化学習の問題を書くための枠組み
状態 $s$：今どこにいるか
行動 $a$：何をするか
遷移確率：状態 $s$ で行動 $a$ をとったとき、次にどの状態に移るかの確率
報酬 $r$：そのときもらえる点数
「次の状態は、今の状態と行動だけで決まって、それより前の経緯は関係ない」（マルコフ性）と仮定する

＞＞3
割引率 $\gamma$ は、先の報酬をどれくらい軽く見るかの数。報酬の合計（収益）を

で数える。$\gamma =0.9$ で、2手後までは報酬0、3手目に10もらえるなら $G=0.9^2\times 10=8.1$

＞＞4
なんでわざわざ割り引くん？先でもらっても10は10やん

＞＞5
1つは、ずっと続く問題で合計が無限大にならんようにするため。毎回1もらえ続けても、$\gamma =0.9$ なら $1/(1-0.9)=10$ で止まる
もう1つは、同じ報酬なら早くもらえるほうを好むようにするため
$\gamma$ を0に近づけると目先の報酬しか見んくなって、1に近づけると遠い先まで考えるようになる

状態価値関数 $V(s)$ は「状態 $s$ から今の方策で動いたときの、収益の期待値」
行動価値関数 $Q(s,a)$ は「状態 $s$ で、まず行動 $a$ をとって、そのあと方策どおりに動いたときの収益の期待値」
方策は、どの状態でどの行動をとるかの決め方

＞＞7
数字で比べる。状態Aで「右」に行くと報酬1でBに移り、Bの価値は $V(B)=5$。「左」に行くと報酬2でCに移り、$V(C)=0$。$\gamma =0.9$ とすると

目先の報酬は左のほうが大きいけど、先まで見ると右のほうがええ

＞＞8
じゃあ $V(A)$ はいくつになるん？

＞＞9
方策しだい。いつも右を選ぶ方策なら $V(A)=5.5$。右と左を半々で選ぶ方策なら、$(5.5+2)/2=3.75$
このように「今の価値＝すぐもらえる報酬＋割り引いた次の状態の価値」と書ける関係をベルマン方程式と言う。Q学習などは、この関係を使って価値を少しずつ更新していく

＞＞10
Vは状態だけ、Qは状態と行動の組、と覚えとけば、問題文でどっちが聞かれてるか見分けやすい