【疑問】重回帰を行列で書くと β̂=(XᵀX)⁻¹Xᵀy、ってどう導くん？分散共分散行列も出せって言われた【統計検定1級】

重回帰の正規方程式を行列で導いて、推定量の分散共分散行列を求めよ、って問題
単回帰なら和の式で書けたけど、変数が増えると無理

前提のおさらいを2つ
単回帰の傾き：${\hat{\beta }}_1=S_{xy}/S_{xx}$、$V[{\hat{\beta }}_1]={\sigma }^2/S_{xx}$
行列の転置は $(AB{)}^{\top }=B^{\top }{A}^{\top }$、正方行列 $A$ が逆行列をもつのは $\det A\ne 0$ のとき

＞＞1
モデルは $y=X\beta +\epsilon$。$X$ は $n\times p$ で、1列目は全部1
残差平方和 $Q(b)=(y-Xb{)}^{\top }(y-Xb)=y^{\top }y-2b^{\top }{X}^{\top }y+b^{\top }{X}^{\top }Xb$
$b$ で微分して0とおくと $-2X^{\top }y+2X^{\top }Xb=0$

＞＞3
これが正規方程式

$X^{\top }X$ が逆行列をもつには、$X$ の列が1次独立でないといけない

＞＞4
分散のほう。$\hat{\beta }=Ay$（$A=(X^{\top }X{)}^{-1}{X}^{\top }$）で、$V[y]={\sigma }^{2}I$ やから

不偏性は $E[\hat{\beta }]=AX\beta =\beta$ から

単回帰の数字で確かめる。$x=1,\dots ,5$、$y=2,4,5,4,5$
$X^{\top }X=\left(\begin{array}{cc}5& 15\\ 15& 55\end{array}\right)$、行列式 $275-225=50$
$(X^{\top }X{)}^{-1}=\frac{1}{50}\left(\begin{array}{cc}55& -15\\ -15& 5\end{array}\right)=\left(\begin{array}{cc}1.1& -0.3\\ -0.3& 0.1\end{array}\right)$
$X^{\top }y=(20,66{)}^{\top }$ で、$\hat{\beta }=(1.1\times 20-0.3\times 66,-0.3\times 20+0.1\times 66)=(2.2,0.6)$

＞＞6
分散は $V[{\hat{\beta }}_1]=0.1{\sigma }^2={\sigma }^2/10$ で、和の式の ${\sigma }^2/S_{xx}$ と一致。$V[{\hat{\beta }}_0]=1.1{\sigma }^2$、共分散 $-0.3{\sigma }^2$
切片と傾きの推定は負の相関。$\bar{x}>0$ やから、傾きを大きく見積もると切片は小さくなる

＞＞1
変数ごとに単回帰をして係数を並べたら同じにならんの？行列なんか要らんやろ

＞＞8
説明変数どうしが無相関のときだけ同じになる。相関があると、$X^{\top }X$ の非対角成分が効いて係数が変わる
重回帰の係数は「ほかの変数を一定にしたときの効果」で、単回帰の係数とは意味が違う

＞＞4
列がほぼ1次従属だと、逆行列は出るけど成分が大きくなって、分散 ${\sigma }^2(X^{\top }X{)}^{-1}$ が膨らむ。係数が不安定になるのはこのため

残差平方和を行列で書いて微分、正規方程式、$A{\sigma }^{2}I{A}^{\top }$ で分散。単回帰で数字を確かめれば答案として安心やな