【疑問】AICって、なんで「−2×最大対数尤度＋2×パラメータ数」なん？2はどこから来るん【統計検定1級】

AICの式 $-2\ell (\hat{\theta })+2k$ を覚えてるだけで、なんで $2k$ を足すのか説明できん

前提のおさらい。真の分布 $p$ からモデル $q_{\theta }$ へのKL情報量は
$D(p\Vert q_{\theta })=E_p[\log p]-E_p[\log q_{\theta }]$ で、第1項はモデルによらない
だからモデルの良さは $E_p[\log q_{\theta }(Y)]$（新しいデータでの平均対数尤度）で比べればいい

＞＞1
問題は、手元のデータで推定した $\hat{\theta }$ を、同じデータで評価すると甘く出ること
最大対数尤度 $\ell (\hat{\theta })$ は、新しいデータでの対数尤度の期待値より、だいたい $k$ だけ大きい（$k$ は推定した母数の数）

＞＞3
その「だいたい $k$」は、ちょうど確かめられる例がある
$N(\mu ,1)$ で $\mu$ を $\bar{x}$ と推定する（$k=1$）。手元のデータでは $E[\sum (x_i-\bar{x}{)}^2]=n-1$
新しいデータ $y_1,\dots ,y_n$ では $E[\sum (y_i-\bar{x}{)}^2]=n+1$
対数尤度は $-\frac{1}{2}\times$（これ）なので、差はちょうど $\frac{(n+1)-(n-1)}{2}=1=k$

＞＞4
だから甘さの分 $k$ を引いて $\ell (\hat{\theta })-k$ で新しいデータでの値を推定する。$-2$ をかけたのがAIC

$-2$ は昔からの尤度比検定の目盛りに合わせるためで、本質は $k$ を引くこと

数字で比べる。$n=20$ のデータで $\bar{x}=0.4$、$n$ で割った分散が $1.0$
モデルA：$\mu =0$ に固定して分散だけ推定（$k=1$）。${\hat{\sigma }}^2=1.0+0.4^2=1.16$
モデルB：平均も分散も推定（$k=2$）。${\hat{\sigma }}^2=1.0$

＞＞6
正規の最大対数尤度は $-\frac{n}{2}(\log (2\pi {\hat{\sigma }}^2)+1)$ で、A が $-29.86$、B が $-28.38$
AICは A が $59.73+2=61.73$、B が $56.76+4=60.76$。小さい B を選ぶ

＞＞7
でもBICで比べると逆になるやろ

＞＞8
なる。BICは $2k$ の代わりに $k\log n$ で、$\log 20\approx 3.0$
A が $59.73+3.00=62.72$、B が $56.76+5.99=62.75$ で、わずかに A

＞＞9
目的が違う。AICは新しいデータの予測がよくなるモデルを選ぶ基準で、BICは真のモデルを当てる基準
$n$ が大きいとき、真のモデルが候補にあればBICはそれを選ぶ確率が1に近づく。AICは大きめのモデルを選びがち。どっちが正しいかではなく、何をしたいかで選ぶ

＞＞10
AICは差にしか意味がない。同じデータに当てはめたモデルどうしで比べること。値そのものの大きさは読まない

同じデータで評価すると $k$ だけ甘い、その分を引く、$-2$ をかける。2がどこから来たかはこれで言えるな