【疑問】回帰は平均二乗誤差、分類は交差エントロピー、ってなんで決まってるん？KL情報量と相互情報量も【G検定】

誤差関数、回帰には平均二乗誤差、分類には交差エントロピーを使うって覚えたけど、理由が分からん

前提のおさらい。出力層の活性化関数は、回帰なら恒等関数、分類ならシグモイドやソフトマックスで確率を出す。誤差関数は、その出力と正解のずれを1つの数にするもの

＞＞1
平均二乗誤差関数は、予測と正解の差の2乗の平均
予測 (2.5, 0.0, 2.0)、正解 (3.0, −0.5, 2.0) なら $\frac{0.25+0.25+0}{3}\approx 0.17$
誤差が正規分布に従うと仮定した最尤法と同じになるから、数値を当てる回帰と相性がええ

交差エントロピーは、正解のクラスにつけた確率の対数にマイナスをつけたもの

正解が1つなら、正解のクラスの確率 $y$ だけが残って $-\ln y$
正解に0.8をつけたら $-\ln 0.8\approx 0.22$、0.1しかつけなかったら $-\ln 0.1\approx 2.30$

＞＞4
分類でも平均二乗誤差を使ったらあかんの？

＞＞5
使えんことはないけど、学習が遅くなりやすい。シグモイドやソフトマックスの出力に平均二乗誤差を組み合わせると、大きく外れてるときほど勾配が小さくなる場面がある
交差エントロピーと組み合わせると、出力の勾配が「予測−正解」という単純な形になって、大きく外れてるほど大きく直せる

カルバック・ライブラー情報量（KL）は、2つの確率分布がどれくらい違うかを測る

$P=(0.5,0.5)$、$Q=(0.9,0.1)$ なら $0.5\ln \frac{0.5}{0.9}+0.5\ln \frac{0.5}{0.1}\approx 0.51$

＞＞7
PとQを入れ替えたら同じ値になるん？

＞＞8
ならん。$D_{KL}(Q\Vert P)=0.9\ln 1.8+0.1\ln 0.2\approx 0.37$
入れ替えると値が変わるから、ふつうの意味の「距離」とは呼ばん。いつも0以上で、2つが同じときだけ0
交差エントロピーは「正解の分布のエントロピー＋KL」と分けられる。正解の分布は動かせんから、交差エントロピーを小さくすることは、KLを小さくすることと同じ

相互情報量は、2つの変数のあいだでどれくらい情報を共有してるか
独立なら0。表裏が半々のコインで、$Y$ が $X$ とまったく同じなら $\ln 2\approx 0.69$（1ビット）
片方を知ったらもう片方の不確かさがどれだけ減るか、と読める

＞＞10
相関係数は直線の関係しか測れんけど、相互情報量はどんな形の関係でも、関係があれば0より大きくなる。そこが違う