【疑問】強化学習をロボットに持ちこむ、sim2real・ドメインランダマイゼーション・残差強化学習・オフライン強化学習・状態表現学習【G検定】

強化学習はゲームでは強いけど、ロボットで使うときにsim2realやオフライン強化学習が出てくる。何が難しいん？

前提のおさらい。A3CやPPOは、たくさん試して報酬から方策を学ぶ。ロボットの関節みたいな連続した行動でも、方策が分布を出す形で扱える

＞＞1
実物のロボットで何百万回も試すのは、時間もかかるし壊れる。そこでシミュレーターで学ばせてから実物に移す。これがsim2real
ただ、シミュレーターと実物では、摩擦・重さ・カメラの見え方が少しずつ違う。そのずれで、シミュレーターでは動いた方策が実物では失敗する

＞＞3
ドメインランダマイゼーションは、シミュレーターの条件をわざとばらばらに変えて学ばせる方法。トビンらの2017年の論文
摩擦を毎回0.5倍から1.5倍のどこかにする、色や照明を変える、など。いろんな世界で動ける方策なら、実物もその中の1つとして扱える

＞＞4
条件をばらばらにしたら、どの条件でもそこそこ、の方策にならん？

＞＞5
その面はある。だから全部を強化学習でやらずに、昔からある制御のプログラムの出力に、強化学習で小さな補正を足す方法もある。これが残差強化学習
制御プログラムが0.8の力を出して、学習した補正が0.1なら、実際に出す力は0.9。ゼロから学ぶより試す回数が少なくてすむ

＞＞1
オフライン強化学習は、新しく試さずに、すでに集めてあるデータだけで学ぶ。医療や自動運転みたいに、試しに失敗させるのが許されない場面向け
データにない行動の価値を高く見積もりがちなのが難しいところ
状態表現学習は、カメラの画像みたいな大きい入力から、位置や速さのような、方策の学習に役立つ小さな表現を先に学んでおくこと