【疑問】誤差の分散が点ごとに違うとき、重み付き最小二乗や一般化最小二乗はどう導くん？【統計検定1級】

誤差の分散共分散行列が ${\sigma }^{2}V$ のとき、一般化最小二乗推定量を導け、って問題

前提のおさらい。ガウス・マルコフの定理：$V[\epsilon ]={\sigma }^{2}I$ なら最小二乗推定量が線形不偏推定量の中で分散最小。証明では $V[Cy]={\sigma }^{2}C{C}^{\top }$ を使った

＞＞1
変換して等分散に戻すのが方針。$V$ は正定値やから $V^{-1}=W^{\top }W$ となる $W$ がとれる
$Wy=WX\beta +W\epsilon$ とすると $V[W\epsilon ]={\sigma }^{2}WV{W}^{\top }={\sigma }^{2}I$
変換後のモデルに最小二乗を使って

＞＞3

変換後は等分散やから、ガウス・マルコフの定理でこれが最良

＞＞4
$V$ が対角なら重み付き最小二乗（WLS）。分散が $v_i$ なら、重み $1/v_i$ で $\sum (y_i-x_i^{\top }b{)}^2/v_i$ を最小にする

数字で。原点を通る回帰 $y_i=\beta x_i+{\epsilon }_i$ で、分散が $x_i$ に比例する（$V[{\epsilon }_i]={\sigma }^2{x}_i$）
重み $1/x_i$ で解くと ${\hat{\beta }}_{\mathrm{WLS}}=\sum y_i/\sum x_i$（比推定量）
$x=1,2,4$、$y=1.2,1.8,4.4$ なら $7.4/7\approx 1.057$。普通の最小二乗は $\sum x_i{y}_i/\sum x_i^2=22.4/21\approx 1.067$
分散は WLS が ${\sigma }^2/7\approx 0.143{\sigma }^2$、普通の最小二乗が ${\sigma }^2\sum x_i^3/(\sum x_i^2{)}^2=73{\sigma }^2/441\approx 0.166{\sigma }^2$

＞＞6
でも普通の最小二乗も不偏やん。推定値はほぼ同じやし、わざわざ重みをつける意味ある？

＞＞7
不偏なのは本当。損なのは分散で、この例で効率は $0.143/0.166\approx 0.86$
もっと困るのは標準誤差。普通の最小二乗の公式 ${\sigma }^2(X^{\top }X{)}^{-1}$ は等分散を前提にしてるから、分散が違うとそのまま使うと検定や区間がずれる

＞＞8
$V$ は普通わからんやろ。式はきれいでも使えんのちゃう

＞＞9
使い方は2つ。分散の形をモデルにして、残差から推定した $\hat{V}$ を代入する（実行可能なGLS）。もう1つは、推定は普通の最小二乗のままで、標準誤差だけ分散の違いに強い式（頑健型）に替える
形に自信があれば前者、なければ後者が無難

$W$ で変換して等分散にする、$(X^{\top }{V}^{-1}X{)}^{-1}{X}^{\top }{V}^{-1}y$、対角ならWLS、普通の最小二乗は不偏だけど効率と標準誤差で損。これで導けるな