【疑問】尤度関数って確率と何が違うん？なんで対数をとるん【統計検定1級】

尤度 $L(\theta )$ と確率 $P(x;\theta )$、式は同じやのに名前が違うのが分からん

前提のおさらい。ポアソン分布 $P(X=k)=e^{-\lambda }{\lambda }^k/k!$ と正規分布の密度 $\frac{1}{\sqrt{2\pi }\sigma }{e}^{-(x-\mu {)}^2/(2{\sigma }^2)}$
独立な観測なら、同時の確率や密度はそれぞれの積

＞＞1
式は同じで、どっちを動かすかが違う

確率はデータ $x$ を動かす関数、尤度は観測したデータを固定して $\theta$ を動かす関数

＞＞3
10回中7回成功なら $L(p)=p^7(1-p{)}^3$（係数 $\left(\genfrac{}{}{0ex}{}{10}{7}\right)$ は $p$ によらないので省く）
$L(0.7)/L(0.5)=2.28$ くらいで、$p=0.7$ のほうがデータをよく説明する

＞＞4
それって、$p=0.7$ である確率が $p=0.5$ の2倍以上ってこと？

＞＞5
違う。尤度は $p$ についての確率分布になってない
${\int }_0^1{p}^7(1-p{)}^{3}dp=B(8,4)=\frac{1}{1320}$ で、積分しても1にならない（係数を付けても $120/1320\approx 0.091$）
$p$ の確率を言いたいなら、事前分布を置いてベイズの定理を使う

＞＞6
でも事前分布を一様にしたら、事後分布は尤度に比例するやろ。それなら尤度を確率みたいに読んでもええんちゃう

＞＞7
それは一様という事前分布を選んだ結果で、尤度そのものの性質ではない。$p$ をロジットに変えて一様にすると、別の答えになる

対数をとる理由は？

＞＞9
積が和になるから。$\ell (\theta )=\log L(\theta )=\sum \log f(x_i;\theta )$ で、微分もしやすい
もう1つは計算機の都合。密度0.1くらいの観測が1000個あると、積は $10^{-1000}$ で表せる範囲を下回る。対数なら $-2302.6$ で済む

＞＞10
いくつか書いておく
二項（10回中7回）：$\ell (p)=7\log p+3\log (1-p)$。$\ell (0.5)\approx -6.931$、$\ell (0.7)\approx -6.109$
ポアソン（データ2, 0, 3, 1, 4）：$\ell (\lambda )=-5\lambda +10\log \lambda +\text{定数}$

＞＞11
正規（$\sigma =1$ 既知、データ4, 6, 5, 7, 3）：$\ell (\mu )=-\frac{5}{2}\log (2\pi )-\frac{1}{2}\sum (x_i-\mu {)}^2$
$\ell (5)=-4.595-5=-9.595$、$\ell (4)=-4.595-7.5=-12.095$

＞＞11
定数を省いてええのは、同じデータで $\theta$ どうしを比べるときだけ。違うモデルの尤度を比べるときは、定数も含めて書いたほうが安全

尤度は $\theta$ の関数で確率分布ではない、対数で和にする、定数は比べるときに消える。これで尤度の問題の入り口は書けるな