【疑問】フィッシャー情報量、スコアの2乗の期待値と2階微分のマイナス、どっちで計算すればええん【統計検定1級】

フィッシャー情報量の定義が本によって $E[S^2]$ だったり $-E[{\partial }^2\ell /\partial {\theta }^2]$ だったりする
同じものなん？

前提のおさらい。スコア $S=\frac{\partial }{\partial \theta }\log f(X;\theta )$ は、正則条件のもとで $E_{\theta }[S]=0$
証明は $\int fdx=1$ を $\theta$ で微分して、微分と積分を入れ替えるだけ

＞＞1
同じもの。$E[S]=\int Sfdx=0$ をもう1回 $\theta$ で微分すると
$\int \frac{\partial S}{\partial \theta }fdx+\int S\frac{\partial f}{\partial \theta }dx=0$ で、$\frac{\partial f}{\partial \theta }=Sf$ やから

＞＞3
ベルヌーイで両方やる
$S=\frac{x}{p}-\frac{1-x}{1-p}$ で、$E[S^2]=p\cdot \frac{1}{p^2}+(1-p)\frac{1}{(1-p{)}^2}=\frac{1}{p}+\frac{1}{1-p}$
$-\frac{\partial S}{\partial p}=\frac{x}{p^2}+\frac{1-x}{(1-p{)}^2}$ の期待値も $\frac{1}{p}+\frac{1}{1-p}$
どっちも $\frac{1}{p(1-p)}$。$p=0.5$ なら4

＞＞3
2階微分のほうが楽なことが多い。2階微分に $x$ が1次でしか入らないなら、期待値は平均を入れるだけ
ポアソン：$-{\partial }^2\ell /\partial {\lambda }^2=x/{\lambda }^2$ で $I=1/\lambda$
正規の平均（$\sigma$ 既知）：$I=1/{\sigma }^2$。指数分布の率：$I=1/{\lambda }^2$

$n$ 個の独立な観測なら情報量は $nI(\theta )$。スコアが和になって、分散も和になるから

＞＞6
データから計算する「観測情報量」もある
10回中7回成功なら $-{\ell }^{\prime \prime }(\hat{p})=\frac{7}{0.49}+\frac{3}{0.09}\approx 47.6$
$\frac{n}{\hat{p}(1-\hat{p})}=\frac{10}{0.21}\approx 47.6$ と一致する

＞＞4
$p=0.1$ なら情報量は $11.1$ で、$p=0.5$ の4より大きい。端のほうが推定しやすいってこと？

＞＞8
$\hat{p}$ の標準誤差 $\sqrt{p(1-p)/n}$ は確かに端のほうが小さい。$n=100$ で $p=0.1$ なら $0.030$、$p=0.5$ なら $0.050$

＞＞9
でも $p=0.1$ に対して $0.03$ は3割の誤差。比で見たら端のほうが推定しにくい
情報量は目盛りの取り方で変わるから、どの母数で見てるかを決めないと比べられない

＞＞10
母数を $\eta =g(\theta )$ に変えると $I_{\eta }=I_{\theta }{\left(\frac{d\theta }{d\eta }\right)}^2$
ベルヌーイの対数オッズで見ると $I_{\eta }=p(1-p)$ で、今度は $p=0.5$ の $0.25$ が最大

$U(0,\theta )$ みたいに範囲が $\theta$ で動く分布では、2つの式の一致を示すときの入れ替えが使えない。正則条件は答案に書いておく

2つの式は $E[S]=0$ をもう1回微分すれば同じ、計算は2階微分が楽、$n$ 個なら $n$ 倍。この3つで情報量の問題は始められるな