【疑問】共役事前分布って何がうれしいん？ベータ分布と二項分布、ガンマ分布とポアソン分布で事後分布を出したい【統計検定1級】

10レスカテゴリ：統計・確率

1: 名無しさん

事前分布 $B e (2, 2)$ 、10回中7回成功のとき、事後分布を求めよ、って問題
ベイズの定理で積分を計算しないといけないん？

2: 名無しさん

前提のおさらいを3つ
ベータ分布 $B e (a, b)$ の密度は $θ^{a - 1} (1 - θ)^{b - 1}$ に比例、平均は $a / (a + b)$
尤度は、データを固定した母数の関数
ベイズの定理： $P (A ∣ B) \propto P (B ∣ A) P (A)$

3: 名無しさん

＞＞1
事後分布は尤度×事前分布に比例。積分は正規化の定数を出すだけやから、比例の形で見ればいい

π (θ ∣ x) \propto θ^{7} (1 - θ)^{3} \times θ^{1} (1 - θ)^{1} = θ^{8} (1 - θ)^{4}

これは $B e (9, 5)$ の形。事前と事後が同じ分布族になるのが共役

4: 名無しさん

＞＞3
一般には $B e (a, b)$ と $n$ 回中 $x$ 回で $B e (a + x, b + n - x)$
事後平均 $\frac{a + x}{a + b + n} = \frac{9}{14} \approx 0.643$ 。最尤推定値0.7と事前平均0.5の間
$\frac{a + b}{a + b + n} = \frac{4}{14}$ の重みで事前平均、 $\frac{10}{14}$ の重みで $x / n$ をまぜた値になってる： $\frac{4}{14} \times 0.5 + \frac{10}{14} \times 0.7 \approx 0.643$

5: 名無しさん

＞＞4
事後分布から区間も出る。 $B e (9, 5)$ の2.5%点と97.5%点で $(0.386, 0.861)$
「 $θ$ がこの区間に入る確率が95%」と直接言える。信頼区間とは読み方が違う

6: 名無しさん

ポアソンなら事前分布はガンマ。 $G a (α, β)$ （ $β$ は率）で、密度は $λ^{α - 1} e^{- β λ}$ に比例
$n$ 個の合計 $T$ のとき、尤度 $λ^{T} e^{- nλ}$ をかけて $G a (α + T, β + n)$
$G a (2, 1)$ 、 $n = 5$ 、合計12なら $G a (14, 6)$ 。事後平均 $14/6 \approx 2.33$ （最尤推定値は2.4）、95%区間 $(1.28, 3.71)$

7: 名無しさん

＞＞3
事前分布を $B e (2, 2)$ にする根拠は何なん？分析する人の好みで結果が変わるのはおかしいやろ

8: 名無しさん

＞＞7
変わるのは本当。だから事前分布は明示して、変えたときにどれだけ動くかを示す
$a + b$ は「事前に何回分の観測があったことにするか」と読める。 $B e (2, 2)$ は4回分で、10回のデータに比べて弱い。データが増えれば事前の重み $\frac{a + b}{a + b + n}$ は0に近づく

9: 名無しさん

＞＞8
共役でなくても事後分布は定義できる。ただ積分が閉じないから、数値計算かMCMCが要る。共役のうれしさは、更新が母数の足し算で済むこと

10: 名無しさん

尤度×事前で比例の形を見る、ベータ–二項は $B e (a + x, b + n - x)$ 、ガンマ–ポアソンは $G a (α + T, β + n)$ 、事後平均は重みつき平均。これで解けるな

管理人のひとこと

事後 $\propto$ 尤度 $\times$ 事前。共役なら事後も同じ分布族で、更新は母数の足し算。
ベータ–二項： $B e (2, 2)$ 、10回中7回で $B e (9, 5)$ 、事後平均 $9/14 \approx 0.643$ （事前0.5と0.7の重みつき平均）、95%区間 $(0.386, 0.861)$ 。
ガンマ–ポアソン： $G a (2, 1)$ 、 $n = 5$ 、合計12で $G a (14, 6)$ 、事後平均約2.33、区間 $(1.28, 3.71)$ 。
事前分布は明示し、変えたときの影響を示す。 $a + b$ は事前の観測回数と読める。

【疑問】共役事前分布って何がうれしいん？ベータ分布と二項分布、ガンマ分布とポアソン分布で事後分布を出したい【統計検定1級】

管理人のひとこと

関連スレ