【疑問】最尤推定って結局なにが「いい」の？【統計検定1級】

24レスカテゴリ：統計・確率

1: 名無しさん

最尤推定、手順は覚えたけど、なんでこれが「いい推定」なのか分からん
尤度が最大になる値を選んでるだけやろ？

2: 名無しさん

手順の確認からいこか
ポアソン分布 $Po (λ)$ から $n$ 個とったとき
対数尤度は

i = 1 \sum n (x_{i} lo g λ - λ - lo g x_{i}!)

$λ$ で微分して 0 とおくと

\frac{\sum _{i = 1}^{n} x _{i}}{λ} - n = 0

だから

\hat{λ} = \overset{x}{ˉ}

3: 名無しさん

＞＞2
そこまではできる
で、それがなんでええんや

4: 名無しさん

＞＞3
「これ以上ブレが小さい不偏推定量は作れない」っていう下限があって
それに届いてるからや
クラメール・ラオの不等式な

5: 名無しさん

フィッシャー情報量が出てくるやつか

6: 名無しさん

＞＞5
せや。1個のデータあたりの情報量は

I (θ) = - E [\frac{\partial ^{2}}{\partial θ ^{2}} lo g f (X; θ)]

ポアソンなら

\frac{\partial ^{2}}{\partial λ ^{2}} lo g f = - \frac{x}{λ ^{2}}

で、期待値をとると

I (λ) = \frac{1}{λ}

7: 名無しさん

で、下限は？

8: 名無しさん

＞＞7
不偏推定量 T なら、正則条件のもとで

Var (T) \geq \frac{1}{n I ( θ )}

ポアソンだと

\frac{1}{n \cdot \frac{1}{λ}} = \frac{λ}{n}

9: 名無しさん

$\overset{x}{ˉ}$ の分散って $λ / n$ やん

10: 名無しさん

＞＞9
そう、ぴったり下限に一致してる
だから $\overset{x}{ˉ}$ は有効推定量で、一様最小分散不偏推定量（UMVU）でもある

11: 名無しさん

毎回そんなにうまくいくん？

12: 名無しさん

＞＞11
いかん。ぴったり届くのは指数型分布族の特別な場合くらい
ただ、正則条件のもとで n が大きければ
$n (\hat{θ} - θ)$ は平均0、分散 $1/ I (θ)$ の正規分布に近づく

n (\hat{θ} - θ) \to N (0, \frac{1}{I ( θ )})

つまり最尤推定量は「大標本では下限に届く」。これが最尤推定の強み

13: 名無しさん

最尤推定量の便利なところ、もう一個あったよな

14: 名無しさん

＞＞13
不変性や
$g (θ)$ の最尤推定量は $g (\hat{θ})$
ポアソンで

P (X = 0) = e^{- λ}

を推定したいなら、

e^{- \overset{x}{ˉ}}

でええ

15: 名無しさん

＞＞14
それ不偏なん？

16: 名無しさん

＞＞15
不偏ちゃう

E [e^{- \overset{ˉ}{X}}] = exp (nλ (e^{- 1/ n} - 1))

で、 $e^{- λ}$ とはズレる
n が大きいとズレは小さくなるけど、「最尤＝不偏」ではないのは試験でよく突かれる

17: 名無しさん

じゃあ $e^{- \overset{x}{ˉ}}$ の分散はどう出すんや

18: 名無しさん

＞＞17
デルタ法

Var (g (\hat{θ})) \approx g^{'} (θ)^{2} Var (\hat{θ})

g (λ) = e^{- λ}

なら

g^{'} (λ)^{2} = e^{- 2 λ}

やから
近似分散は

e^{- 2 λ} \cdot \frac{λ}{n}

19: 名無しさん

正則条件って毎回さらっと書いてあるけど、何がアカンと崩れるん？

20: 名無しさん

＞＞19
有名なのは一様分布 $U (0, θ)$
データのとりうる範囲そのものが $θ$ で決まるから、正則条件を満たさん
最尤推定量は最大値 $X_{(n)}$ で、期待値は

E [X_{(n)}] = \frac{n θ}{n + 1}

やから不偏でもない

21: 名無しさん

分散はどうなるん

22: 名無しさん

＞＞21

Var (X_{(n)}) = \frac{n θ ^{2}}{( n + 1 ) ^{2} ( n + 2 )}

$1/ n^{2}$ のオーダーで縮むから、普通の $1/ n$ より速い
クラメール・ラオの前提が崩れてるから、こういうことが起きる

23: 名無しさん

範囲がパラメータで決まるかどうか、真っ先に確認するわ

24: 名無しさん

＞＞23
それ知ってるだけで、引っかけ問題で1問拾えるで

管理人のひとこと

最尤推定量のよさは、大標本ではクラメール・ラオの下限 $1/ (n I (θ))$ に届くこと。
フィッシャー情報量は $I (θ) = - E [\partial^{2} / \partial θ^{2} lo g f]$ 。ポアソンなら $1/ λ$ で、 $\overset{x}{ˉ}$ は下限にぴったり一致する。
最尤推定量には不変性があるが、不偏とは限らない。関数の分散はデルタ法で近似する。
一様分布 $U (0, θ)$ のように、とりうる範囲が $θ$ で決まる分布では正則条件が崩れ、常識が通らない。

【疑問】最尤推定って結局なにが「いい」の？【統計検定1級】

管理人のひとこと

関連スレ