【疑問】クロスバリデーションとAIC、どっちも予測のよさを測るなら何が違うん【統計検定1級】

モデル選択でAICを使うかクロスバリデーション（CV）を使うか、違いを説明せよ、って問題

前提のおさらい。AICは、同じデータで推定と評価をした最大対数尤度が約 $k$ だけ甘いのを、式で直した基準
$\mathrm{AIC}=-2\ell (\hat{\theta })+2k$

＞＞1
CVは甘さを式で直すかわりに、データを分けて実際に測る
$K$ 分割CV：データを $K$ 個に分けて、1つを評価用、残りで推定。これを $K$ 回くり返して誤差を平均する
$K=n$（1個ずつ抜く）が1個抜き交差検証（LOOCV）

＞＞3
甘さが実際に見える例。データ $4,6,5,7,3$ を平均で予測すると、手元での二乗誤差の和は $\sum (x_i-\bar{x}{)}^2=10$
1個抜いて残り4個の平均で予測すると、誤差は $x_i-{\bar{x}}_{-i}=\frac{n}{n-1}(x_i-\bar{x})$ になるから

＞＞4
手元では10、新しいデータに近い条件では15.6。この差がAICの $2k$ で直してる甘さに当たる

で、結局どう違うん

＞＞6
AICは尤度が書けるモデルで、母数の数で甘さを近似する。計算は1回の当てはめで済む
CVは尤度がなくても、どんな損失（二乗誤差、正解率など）でも使える。そのかわり $K$ 回当てはめる

＞＞7
大きい $n$ では、最尤で当てはめたモデルのLOOCVとAICは同じモデルを選ぶ（漸近的に同等、というストーンの結果）
どっちを使っても似た結論になることが多い

＞＞8
でも実務ではCVのほうが安全やと思う。AICは母数の数がはっきりしないモデル（正則化や木のモデル）では $k$ をどう数えるか決められない

＞＞9
CVにも落とし穴がある。データの前処理（標準化、変数選択）を全データでやってから分けると、評価用のデータの情報が推定に漏れて甘くなる
前処理も分割の内側でやる。時系列なら、未来のデータで過去を推定しないように分ける

＞＞3
$K$ の選び方は5か10がよく使われる。$K$ が小さいと推定に使うデータが減って誤差を大きめに見積もり、$K=n$ だと見積もりのばらつきが大きくなりやすい

AICは式で甘さを直す、CVは分けて測る、大きい $n$ ではだいたい一致、CVは前処理の漏れに注意。違いはこの4点で書けそうやな