【疑問】スコア関数の期待値が0になるのはなんで？どの θ で期待値をとるかで変わらんの【統計検定1級】

スコア関数 $S(\theta )=\partial \ell /\partial \theta$ の期待値は0、って書いてあるけど、なんで0なのか分からん

前提のおさらい。対数尤度は $\ell (\theta )=\sum \log f(x_i;\theta )$ で、データを固定して $\theta$ の関数として見たもの
スコアはその傾きで、1個の観測なら $\frac{\partial }{\partial \theta }\log f(X;\theta )$

＞＞1
1個の観測で示す。$\frac{\partial }{\partial \theta }\log f=\frac{\partial f/\partial \theta }{f}$ やから

3つ目の等号で、微分と積分の順番を入れ替えてる

＞＞3
ベルヌーイで確かめる
$S(p)=\frac{x}{p}-\frac{1-x}{1-p}$ で、$E[X]=p$ を入れると $1-1=0$
ポアソンなら $S=x/\lambda -1$ で、$E[X]/\lambda -1=0$

＞＞1
どの $\theta$ で期待値をとるかで変わるんちゃうの

＞＞5
変わる。0になるのは、データを生む真の値と、スコアを評価する値が同じときだけ
真の $p_0=0.7$ のデータで $p=0.5$ のスコアの期待値をとると、1個あたり $\frac{0.7}{0.5}-\frac{0.3}{0.5}=0.8$
正なら $p$ を上げる向き。スコアは真の値のほうを指してる

＞＞6
10回中7回のデータで見ると
$S(p)=\frac{7}{p}-\frac{3}{1-p}$ で、$S(0.5)=14-6=8$、$S(0.7)=10-10=0$
$S(\hat{p})=0$ を解くのが最尤推定

＞＞3
微分と積分の入れ替えって、いつでもできるわけちゃうやろ

＞＞8
できない例がある。$U(0,\theta )$ では $f=1/\theta$（$0<x<\theta$）で、$\frac{\partial }{\partial \theta }\log f=-\frac{1}{\theta }$
期待値も $-1/\theta$ で、0にならない。$f$ が正になる範囲が $\theta$ で動くから、入れ替えたときに端の項が抜ける

＞＞9
ほな「正則条件」は、範囲が $\theta$ によらないことと、微分と積分を入れ替えてよいことを言ってるんやな
答案ではこの仮定を最初に書く

分散も見ておく。ベルヌーイなら $E[S]=0$ やから
$V[S]=E[S^2]=p\cdot \frac{1}{p^2}+(1-p)\frac{1}{(1-p{)}^2}=\frac{1}{p(1-p)}$
$p=0.5$ なら4。この分散はフィッシャー情報量と呼ばれて、推定の精度を決める

期待値0は「$\int f=1$ を $\theta$ で微分したら0」というだけの話やな。入れ替えの条件と、真の値で期待値をとることの2つを書いておけばいい