【疑問】カルバック・ライブラー情報量って距離なん？なんで必ず0以上になるん【統計検定1級】

KL情報量は「分布どうしの距離みたいなもの」って説明されたけど、$D(p\Vert q)$ と $D(q\Vert p)$ で値が違うらしい

前提のおさらい。対数尤度は $\sum \log f(x_i;\theta )$ で、2つのモデルの比べ方は対数尤度の差 $\log \frac{f_1(x)}{f_0(x)}$
KLはこの差を、データの分布で平均したもの

＞＞1
定義は

期待値を $p$ でとるから、$p$ と $q$ を入れ替えると値が変わる

＞＞3
0以上になるのはイェンセンの不等式。$\log$ は上に凸やから

等号は $q/p$ が定数、つまり $p=q$ のときだけ

離散で数字を。表の確率0.5のコイン $p$ と、0.8のコイン $q$ なら
$D(p\Vert q)=0.5\log \frac{0.5}{0.8}+0.5\log \frac{0.5}{0.2}\approx 0.223$
$D(q\Vert p)=0.8\log \frac{0.8}{0.5}+0.2\log \frac{0.2}{0.5}\approx 0.193$

正規分布どうしは式で出る

$N(0,1)$ と $N(1,1)$ なら $0.5$。分散が同じなら $({\mu }_1-{\mu }_2{)}^2/(2{\sigma }^2)$ で対称

＞＞6
分散が違うと非対称になる
$D(N(0,1)\Vert N(0,4))=\log 2+\frac{1}{8}-\frac{1}{2}\approx 0.318$
$D(N(0,4)\Vert N(0,1))=-\log 2+2-\frac{1}{2}\approx 0.807$

＞＞7
広い分布 $q$ で狭い $p$ を近似するのは損が小さくて、狭い $q$ で広い $p$ を近似すると損が大きい
$p$ が出す値を $q$ がほとんど出さないと、$\log (p/q)$ が大きくなるから

＞＞3
対称じゃないなら、距離って呼ぶのはおかしいやろ

＞＞9
数学の意味の距離ではない。対称性も三角不等式もない。だから「情報量」や「ダイバージェンス」と呼ぶ
0以上で、0になるのは同じ分布のときだけ、という性質だけ距離と共通

＞＞10
もう1つ注意。$p>0$ なのに $q=0$ になる点があると、$D(p\Vert q)=\infty$。範囲の違う分布どうしでは使いにくい

最尤推定とのつながり
$D(p\Vert q_{\theta })=E_p[\log p]-E_p[\log q_{\theta }]$ で、第1項は $\theta$ によらない
データの平均対数尤度 $\frac{1}{n}\sum \log q_{\theta }(x_i)$ は $E_p[\log q_{\theta }]$ の推定やから、尤度を最大にすることはKLを最小にすることに当たる

期待値は $p$ でとる、イェンセンで0以上、正規なら式で出る、最尤はKL最小。これで定義から使い方までつながるな