【疑問】回帰の決定係数 R² は、なんで実測値と予測値の相関係数の2乗になるん？回帰の分散分析表も【統計検定1級】

回帰の平方和の分解を示して、$R^2$ が重相関係数の2乗に等しいことを示せ、って問題

前提のおさらいを2つ
最小二乗の残差 $e=y-X\hat{\beta }$ は正規方程式から $X^{\top }e=0$。1列目が1なら $\sum e_i=0$
一元配置では総平方和＝群間＋群内で、交差項は偏差の和が0になって消えた

＞＞1
$y_i-\bar{y}=({\hat{y}}_i-\bar{y})+e_i$ を2乗して足す
交差項 $\sum ({\hat{y}}_i-\bar{y})e_i$ は、$\hat{y}=X\hat{\beta }$ が $X$ の列の組み合わせで $X^{\top }e=0$、さらに $\sum e_i=0$ やから0

＞＞3
決定係数は $R^2=S_R/S_T$。相関のほうは
$\sum (y_i-\bar{y})({\hat{y}}_i-\bar{y})=\sum ({\hat{y}}_i-\bar{y}+e_i)({\hat{y}}_i-\bar{y})=S_R$（交差項が0やから）

数字で。$x=1,\dots ,5$、$y=2,4,5,4,5$、$\hat{y}=2.2+0.6x$
$S_T=6$、$S_R=0.6^2\times 10=3.6$、$S_E=2.4$。$R^2=0.6$
重相関係数 $\sqrt{0.6}\approx 0.775$。$y$ と $\hat{y}$ の相関を直接計算しても $0.775$

＞＞5
分散分析表にすると、回帰の自由度 $p-1=1$、残差の自由度 $n-p=3$
$F=(3.6/1)/(2.4/3)=4.5$、P値約0.124
単回帰では $F=t^2$（$2.12^2=4.5$）で、傾きの $t$ 検定と同じ

＞＞5
$R^2=0.6$ なら6割説明できてるんやから、ええモデルやろ

＞＞7
$n=5$ では $F$ 検定でも有意にならない程度。それに $R^2$ は変数を足すと必ず増えるから、値だけでは比べられない
自由度調整済み ${\bar{R}}^2=1-\frac{S_E/(n-p)}{S_T/(n-1)}=1-\frac{0.8}{1.5}\approx 0.467$

＞＞8
足すと必ず増えるのは、変数を足したモデルは元のモデルを含むから。新しい係数を0にすれば元と同じ $S_E$ になって、最小二乗はそれ以下を見つける

＞＞3
この分解は切片が入ってるときだけ。切片なしの回帰だと $\sum e_i=0$ が成り立たなくて、$R^2$ の定義から変わる

$X^{\top }e=0$ で交差項を消す、$S_R=\sum (y-\bar{y})(\hat{y}-\bar{y})$ に気づけば相関の2乗になる。証明はこの2行やな