【疑問】精度の違う測定値を平均するとき、ふつうの平均じゃあかんの？線形不偏推定量で分散最小なのはどれ【統計検定1級】

同じ量を2つの装置で測って、片方は分散1、もう片方は分散4
2つを平均したら、精度のいいほうだけ使うより悪くなった気がする

前提のおさらい。分散は2次の中心モーメントで、独立なら $V[aX+bY]=a^{2}V[X]+b^{2}V[Y]$
定数をかけると分散は2乗でかかる

＞＞1
単純平均の分散は $\frac{1+4}{4}=1.25$ で、確かに精度のいいほう1つ（分散1）より悪い
線形な推定量 $c_1{X}_1+c_2{X}_2$ を考えて、不偏であるには $c_1+c_2=1$ が要る

＞＞3
その条件で分散 $c_1^2{\sigma }_1^2+c_2^2{\sigma }_2^2$ を最小にする
ラグランジュの未定乗数法で $2c_i{\sigma }_i^2=\kappa$、つまり $c_i\propto 1/{\sigma }_i^2$

＞＞4
例なら重みは $1:0.25$ で、$c=(0.8,0.2)$。分散は $1/1.25=0.8$
精度のいいほう1つより良くなる。悪いほうも、小さい重みで足せば得になる

分散が全部同じなら重みも全部 $1/n$ で、標本平均が線形不偏推定量の中で分散最小（BLUE）
$\sum c_i=1$ のもとで $\sum c_i^2\ge 1/n$（等号は全部 $1/n$）をコーシー・シュワルツで示せばいい

最小二乗法とはどうつながるん

＞＞7
$\sum (x_i-\mu {)}^2$ を最小にすると $\hat{\mu }=\bar{x}$。重み付きの $\sum (x_i-\mu {)}^2/{\sigma }_i^2$ を最小にすると、さっきの重み付き平均になる
分散の逆数で重みをつけた最小二乗が、そのままBLUEになってる

＞＞8
回帰でも同じ形が出る。原点を通る直線 $y=\beta x$ で、誤差が独立で分散 ${\sigma }^2$ なら
最小二乗 $\hat{\beta }=\sum x_i{y}_i/\sum x_i^2$ の分散は ${\sigma }^2/\sum x_i^2$
別の不偏推定量 $\sum y_i/\sum x_i$ の分散は $n{\sigma }^2/(\sum x_i{)}^2$。$x=1,2,3,4$ なら ${\sigma }^2/30\approx 0.033{\sigma }^2$ と $4{\sigma }^2/100=0.04{\sigma }^2$ で、最小二乗が小さい

＞＞6
「最良」っていうけど、線形で不偏なものの中だけの話やろ。外にもっといいのがあるんちゃう

＞＞10
ある。裾の重い分布では中央値のほうがいい
ラプラス分布（尺度1）なら1個の分散は2で、標本平均の分散は $2/n$。標本中央値の漸近分散は $1/n$ で半分
中央値は線形じゃないから、BLUEの比較には入ってない

＞＞11
正規分布なら標本平均は、線形に限らず不偏推定量の中で最良になる。分布を仮定するかどうかで「最良」の範囲が変わるんやな

線形・不偏の条件を式にする、分散を最小化する、重みは分散の逆数。この流れで書けば、重み付き平均も回帰も同じ答案になるな