【疑問】重回帰の変数選択、AICと自由度調整済みR²とBICで選ぶモデルが違うのはなんで？ステップワイズは使ってええの？【統計検定1級】

説明変数の候補が3つあるとき、どのモデルを選ぶか、基準を比べて論じよ、って問題

前提のおさらいを2つ
$\mathrm{AIC}=-2\ell (\hat{\theta })+2k$。手元のデータで推定・評価すると対数尤度が約 $k$ だけ甘く出るのを直した基準
$R^2$ は変数を足すと必ず増える。自由度調整済み ${\bar{R}}^2=1-\frac{S_E/(n-p)}{S_T/(n-1)}$

＞＞1
正規の線形回帰なら、定数を除いて

$p$ は切片を含む係数の数

数字で。$n=20$、$S_T=100$。変数1個で $S_E=40$、2個で36、3個で35
AIC：$17.86,17.76,19.19$ → 2個
BIC：$19.85,20.74,23.18$ → 1個
${\bar{R}}^2$：$0.578,0.598,0.584$ → 2個

＞＞4
2個目を足したときの $F$ 検定は $F=(40-36)/(36/17)\approx 1.89$、P値約0.19。検定なら足さない

＞＞5
基準ごとに答えが違うんやったら、どれも信用できんやん

＞＞6
罰則の強さが違うだけ。1個足すときの罰が、AICは2、BICは $\log 20\approx 3.0$。${\bar{R}}^2$ はおよそAICより弱い罰に当たる
予測のよさを狙うならAIC、真のモデルを当てたい（$n$ が大きいとき）ならBIC。目的を決めてから基準を選ぶ

＞＞1
ステップワイズで1個ずつ足し引きすれば、全部の組み合わせを調べなくて済むやん

＞＞8
手間は減るけど、全組み合わせの最良に届く保証はない。それに選んだあとのP値や信頼区間をそのまま使うと、有意に見えすぎる
選ぶ過程で「たまたまよく見えた変数」を拾ってるから。同じデータで選んで同じデータで検定すると、その分だけ甘い

＞＞9
対策は、選ぶデータと評価するデータを分けるか、交差検証で選び方ごと評価すること。結果を書くときは、選んだ手順も書いておく

AICとBICは罰の強さの違い、目的で選ぶ、ステップワイズは最良の保証なし、選んだあとの検定は甘い。これで論じられるな