【疑問】ガウス・マルコフの定理、最小二乗推定量が「最良」ってどういう意味？行列で証明したい【統計検定1級】

$y=X\beta +\epsilon$ で、最小二乗推定量が線形不偏推定量の中で分散最小（BLUE）になることを行列で示せ、って問題

前提のおさらいを2つ
最小二乗推定量 $\hat{\beta }=(X^{\top }X{)}^{-1}{X}^{\top }y$、$V[\hat{\beta }]={\sigma }^2(X^{\top }X{)}^{-1}$
1つの平均を推定する場合なら、線形不偏な $\sum c_i{y}_i$ の中で分散最小なのは重みが精度に比例する組み合わせ

＞＞1
仮定は3つだけ。$E[\epsilon ]=0$、$V[\epsilon ]={\sigma }^{2}I$、$X$ は列が1次独立。正規分布は仮定しない
主張：任意の線形不偏推定量 $\tilde{\beta }=Cy$ について、$V[\tilde{\beta }]-V[\hat{\beta }]$ は非負定値

＞＞3
証明。不偏性 $E[Cy]=CX\beta =\beta$ がすべての $\beta$ で成り立つから $CX=I$
$A=(X^{\top }X{)}^{-1}{X}^{\top }$ として $C=A+D$ と書くと、$CX=I$ と $AX=I$ から $DX=0$

交差項 $A{D}^{\top }=(X^{\top }X{)}^{-1}(DX{)}^{\top }=0$ が消えるのが要

＞＞4
$D{D}^{\top }$ は非負定値（$a^{\top }D{D}^{\top }a=\Vert D^{\top }a{\Vert }^2\ge 0$）。だからどの係数の組み合わせ $a^{\top }\beta$ でも、最小二乗のほうが分散が小さいか等しい
等号は $D=0$、つまり最小二乗推定量そのものだけ

数字で。$x=1,\dots ,5$ の単回帰で、傾きを両端の2点だけで ${\tilde{\beta }}_1=(y_5-y_1)/4$ と推定する
これも線形で不偏。分散は $2{\sigma }^2/16=0.125{\sigma }^2$
最小二乗は ${\sigma }^2/S_{xx}=0.1{\sigma }^2$ で、こっちが小さい

＞＞5
「最良」って言うけど、線形と不偏で縛った中での話やろ。縛りを外したら負けるんちゃうの

＞＞7
負けることはある。偏りを許すと、リッジ回帰のように分散を大きく減らしてMSEで勝つ推定量がある
誤差の裾が重いと、線形でない推定量（外れ値に強い推定）のほうが分散が小さいこともある。定理が守ってくれるのは線形不偏の範囲だけ

＞＞3
等分散が崩れたら、この証明のどこが壊れるん

＞＞9
$V[\epsilon ]={\sigma }^{2}I$ を使った $V[Cy]={\sigma }^{2}C{C}^{\top }$ のところ。分散がばらばらなら、最小二乗は最良でなくなって、重みをつけた推定のほうが分散が小さくなる

$C=A+D$ に分けて $DX=0$、交差項が消えて ${\sigma }^{2}D{D}^{\top }$ が残る。仮定は等分散と無相関だけで正規は要らない。これで証明になるな