【疑問】不偏分散って、なんで n じゃなくて n−1 で割るん？【統計検定1級】

標本分散は $n$ で割るのに、不偏分散は $n-1$ で割る
「自由度が1減るから」って言われても納得できん

記号のおさらいから
$X_1,\dots ,X_n$ が独立に、平均 $\mu$、分散 ${\sigma }^2$ の同じ分布に従うとして

「不偏」は期待値が真の値に一致すること。示したいのは $E[S^2]={\sigma }^2$

＞＞1
自由度で納得できんなら、期待値を直接計算したらええ
まず平方和を変形する

＞＞3
で、それぞれの期待値は？

＞＞4
$V(X)=E[X^2]-(E[X]{)}^2$ を逆向きに使う

$\bar{X}$ は平均 $\mu$、分散 ${\sigma }^2/n$ やから

代入すると

だから $n-1$ で割ると、期待値がちょうど ${\sigma }^2$ になる

＞＞6
${\mu }^2$ はきれいに消えるんやな
減った ${\sigma }^2$ 1個分は、$\bar{X}$ のばらつきの分か

感覚的にはこう
本当は $\mu$ からのずれを測りたいのに、$\mu$ を知らんから $\bar{X}$ で代用してる
$\bar{X}$ はデータに一番近い点やから、ずれが小さめに出る

＞＞8
「一番近い」ってのは

を最小にする $a$ が $\bar{X}$ ってことな
実際こう分解できる

右の第2項の期待値は $n\cdot {\sigma }^2/n={\sigma }^2$ で、ちょうど1個分

具体例がないと信じられん

＞＞10
0と2を確率 $1/2$ ずつとる母集団なら $\mu =1$、${\sigma }^2=1$
$n=2$ でとりうる標本は $(0,0),(0,2),(2,0),(2,2)$ の4通りで、平方和はそれぞれ $0,2,2,0$
平方和の平均は1
$n=2$ で割ると平均 $0.5$、$n-1=1$ で割ると平均 $1$ で、ぴったり ${\sigma }^2$

じゃあ $n$ で割るほうはダメなんか

＞＞12
ダメとは限らん。平均二乗誤差で比べると話が変わる
正規分布なら $\sum (X_i-\bar{X}{)}^2/{\sigma }^2$ が自由度 $n-1$ のカイ二乗分布に従うから
$c\sum (X_i-\bar{X}{)}^2$ の平均二乗誤差を最小にする $c$ を計算すると

偏りを少し許してばらつきを減らしたほうが、誤差の合計は小さくなる

＞＞13
それは正規分布を仮定したときの話やろ
不偏性は分布の形に関係なく成り立つ。そこが $n-1$ の強み

＞＞14
それはそう。何を「よさ」の基準にするかで答えが変わるってだけ
ちなみに正規分布で分散を最尤推定すると、$n$ で割るほうになる

不偏分散の平方根 $S$ は、$\sigma$ の不偏推定量なん？

＞＞16
ちゃう。$S$ にもばらつきがあるから

$V(S)>0$ なら $E[S]<\sigma$ で、小さめに出る

＞＞17
正規分布で $n=2$ なら

けっこう小さい

で、自由度の話とはどうつながるん

＞＞19
偏差には必ず

という制約がかかる。$n$ 個のうち $n-1$ 個決めたら、最後の1個は決まる
自由に動ける偏差が $n-1$ 個しかないから $n-1$ で割る、ってのが自由度の言い分
＞＞6の計算は、それを期待値で裏づけたもの

計算を一回やっとけば、自由度の説明もすっと入るな