【疑問】β1 = β2 みたいな線形制約のもとでの最小二乗と、その制約のF検定はどう導くん【統計検定1級】

$y={\beta }_0+{\beta }_1{x}_1+{\beta }_2{x}_2+\epsilon$ で、制約 ${\beta }_1={\beta }_2$ のもとでの推定量を求め、制約が正しいかを検定せよ、って問題

前提のおさらい。対比は係数の線形結合 $c^{\top }\beta$ で、推定は $c^{\top }\hat{\beta }$、分散は ${\sigma }^2{c}^{\top }(X^{\top }X{)}^{-1}c$ で t 検定ができた
${\beta }_1-{\beta }_2$ は $c=(0,1,-1)$ の線形結合

＞＞1
制約を $H\beta =h$ と書く（ここでは $H=(0,1,-1)$、$h=0$）。ラグランジュで残差平方和を最小にすると

制約からのずれ $H\hat{\beta }-h$ に比例して、ふつうの最小二乗を引き戻す形

＞＞3
式は覚えにくいけど、${\beta }_1={\beta }_2=\gamma$ を代入して $y={\beta }_0+\gamma (x_1+x_2)$ を回帰しても同じものが出る。制約が簡単なら代入のほうが速い

数字で。$x_1=1,\dots ,8$、$x_2=2,1,4,3,6,5,8,7$、$y=3.6,4.4,7.3,7.4,10.7,10.6,14.3,14.4$
制約なし：$\hat{\beta }=(1.36,0.971,0.746)$、残差平方和 $S_F=0.315$
制約あり：$\hat{\gamma }=0.859$、残差平方和 $S_R=0.417$

＞＞5
検定は、制約を入れて増えた残差平方和を比べる

$q=1$（制約の数）、$n-p=8-3=5$。$F(1,5)$ の上側5%点は6.61で、$p\approx 0.26$。${\beta }_1={\beta }_2$ は棄却されない

＞＞6
なんでこれが F 分布になるん

＞＞7
増えた分は $S_R-S_F=(H\hat{\beta }-h{)}^{\top }[H(X^{\top }X{)}^{-1}{H}^{\top }{]}^{-1}(H\hat{\beta }-h)$ と書けて、$H_0$ のもとで ${\sigma }^2{\chi }_q^2$。$S_F$ は ${\sigma }^2{\chi }_{n-p}^2$ で、2つは独立
カイ二乗をそれぞれの自由度で割った比やから F。$q=1$ なら対比の t の2乗と同じで、$t\approx 1.27$、$1.27^2\approx 1.61$

＞＞5
制約を入れたら残差平方和は必ず増える。当てはまりが悪くなるだけで、入れる得がないやろ

＞＞9
$S_R\ge S_F$ はいつも成り立つ。でも制約が正しいなら、推定する母数が1つ減って係数の分散が小さくなる
この例なら「$x_1$ と $x_2$ の効き方は同じ」と言えて、$\gamma$ 1つで説明できる。増えた残差がノイズの範囲か、を見るのが F 検定

＞＞6
尤度比検定で書くと $n\log (S_R/S_F)$ が漸近的に ${\chi }_q^2$。正規誤差の線形モデルでは、それを有限の $n$ で正確にしたのが F 検定

＞＞3
「全部の係数が0」も $H=I$ の制約やから、回帰の分散分析の F 検定も同じ枠に入るんやな

制約つき推定は $H\hat{\beta }-h$ で引き戻す（簡単なら代入）、$F=\frac{(S_R-S_F)/q}{S_F/(n-p)}$、$q=1$ なら $t^2$、制約が正しければ分散が減る。これで導けるな