【疑問】不偏推定量がいちばんええんちゃうの？偏りのあるほうが勝つことあるってほんま？【統計検定準1級】

推定量は不偏（平均すると真の値に一致する）なのがいちばんええんやろ
偏りがあるのに「よい推定量」って、どういうことなん

＞＞1
よさを測る物差しの1つが平均二乗誤差（MSE）

推定値と真の値 $\theta$ のずれの2乗の平均

＞＞2
それ、分散と何が違うん

＞＞3
分散は「推定量自身の平均」からのずれ、MSE は「真の値」からのずれ。分けて書くと

分散 + 偏りの2乗。不偏なら偏りが0で、MSE は分散と同じ

具体例くれ

＞＞5
0から $\theta$ の一様分布から5個とって、$\theta =10$ を推定する
推定量Aは平均の2倍 $2\bar{X}$。不偏で、分散は ${\theta }^2/(3n)=100/15\approx 6.67$。だから MSE も約6.67

＞＞6
推定量Bを、5個の中の最大値にしたら？

＞＞7
最大値の期待値は $n\theta /(n+1)=50/6\approx 8.33$ で、偏りは約 $-1.67$、その2乗は約2.78
分散は $n{\theta }^2/\{(n+1{)}^2(n+2)\}=500/252\approx 1.98$
MSE は約4.76。偏りがあるのに、不偏なAの6.67より小さい

＞＞8
偏ってるほうが勝つんか

＞＞9
Aは5個全部の平均を使うから、1個1個のばらつきをそのまま受ける
Bは最大値で、$\theta$ のすぐ下にいつも張りつく。ばらつきの小ささが、偏りの損を上回ってる

＞＞10
なら最大値を少し大きくして偏りを消せば最強やろ

＞＞11
$\frac{n+1}{n}=1.2$ 倍にすると不偏になって、MSE は ${\theta }^2/\{n(n+2)\}=100/35\approx 2.86$
実は $\frac{n+2}{n+1}=\frac{7}{6}$ 倍にすると、少し偏りが残るけど MSE は ${\theta }^2/(n+1{)}^2=100/36\approx 2.78$ でもう少し小さい

＞＞12
結局、偏りを少し残すのがいちばんええってことやん。不偏性なんか気にせんでええやろ

＞＞13
そうとも言えん。MSE がいちばん小さい推定量は、真の値 $\theta$ によって変わることが多い
極端な例で「いつも5と答える」推定量は、$\theta =5$ なら MSE 0 で最強やけど、$\theta =10$ なら25
どんな $\theta$ でも勝つ推定量はふつう存在せんから、「不偏なものの中で比べる」みたいな条件をつけて初めて、いちばんが決まる。不偏性はその条件の1つ

分散の推定でも同じことが起きる？

＞＞15
起きる。正規分布で $n=10$、${\sigma }^2=1$ のとき、偏差の2乗和を割る数で MSE を比べると
$n-1$ で割る（不偏）と $2/(n-1)\approx 0.222$、$n$ で割ると $(2n-1)/n^2=0.19$、$n+1$ で割ると $2/(n+1)\approx 0.182$
偏りがあるほうが MSE は小さい

＞＞16
データが多くなったら、その差はどうなるん

＞＞17
$n=100$ なら、それぞれ約0.0202、約0.0199、約0.0198 で、差はほとんど消える
どれも MSE が0に近づいていくから、$n$ が大きければどれを使っても真の値に近づく

機械学習で聞く「バイアスとバリアンス」も同じ話？

＞＞19
同じ分け方。新しいデータの予測の誤差の2乗の平均は

複雑なモデルほど偏りは小さく分散は大きくなりやすい。その兼ね合いがバイアス・バリアンスのトレードオフ

MSE は分散 + 偏りの2乗。偏りを少し許してばらつきが大きく減るなら MSE は下がる。でも全部の $\theta$ で勝つ推定量はふつうないから、基準を決めて比べる。不偏がいつも一番ってわけやないんやな