【疑問】ギブスサンプリングって、条件付き分布から順番に引くだけでほんまに同時分布になるん？2変量正規で手で回したい【統計検定1級】

11レスカテゴリ：統計・確率

1: 名無しさん

2変量正規分布（平均0、分散1、相関0.8）から、ギブスサンプリングで乱数を作れ、2回分を手で、って問題

2: 名無しさん

前提のおさらいを2つ
メトロポリス・ヘイスティングス法は、提案と受理確率で、詳細つり合いを満たすマルコフ連鎖を作る
標準化した2変量正規なら $X ∣ Y = y \sim N (ρ y, 1 - ρ^{2})$

3: 名無しさん

＞＞1
手順は、片方を固定してもう片方を条件付き分布から引く、を交互にくり返すだけ

x^{(t + 1)} \sim π (x ∣ y^{(t)}), y^{(t + 1)} \sim π (y ∣ x^{(t + 1)})

$ρ = 0.8$ なら、どちらも $N (0.8 \times 相手, 0.36)$ 、標準偏差は0.6

4: 名無しさん

＞＞3
手で回す。始点 $y^{(0)} = 2$ 、標準正規の乱数を順に $0.5, - 1.0, 0.3, 0.8$ とすると
$x^{(1)} = 0.8 \times 2 + 0.6 \times 0.5 = 1.9$
$y^{(1)} = 0.8 \times 1.9 + 0.6 \times (- 1.0) = 0.92$
$x^{(2)} = 0.8 \times 0.92 + 0.6 \times 0.3 = 0.916$ 、 $y^{(2)} = 0.8 \times 0.916 + 0.6 \times 0.8 \approx 1.213$

5: 名無しさん

＞＞3
なんで条件付きから引くだけで同時分布になるん

6: 名無しさん

＞＞5
1つずつの更新は、メトロポリス・ヘイスティングス法で提案分布を条件付き分布そのものにしたもの
そうすると受理確率の比がちょうど1になって、必ず受理される。だから詳細つり合いが成り立って、同時分布が定常分布になる

7: 名無しさん

＞＞4
10万回回すと、 $x$ と $y$ の相関は約0.80、 $x$ の分散は約0.99。目的の分布に合ってる

8: 名無しさん

＞＞7
相関が高いと困ることがある。 $x$ の列の隣どうしの相関は $ρ^{2}$ になる
$ρ = 0.8$ で $0.64$ （シミュレーションでも約0.64）、 $ρ = 0.99$ なら約0.98
細長い分布を、軸に平行にしか動けない。少しずつしか進まないから、同じ本数でも情報が少ない

9: 名無しさん

＞＞8
それなら最初から2変量正規を直接引けばええやん。わざわざギブスにする意味ある？

10: 名無しさん

＞＞9
この例は練習用で、直接引けるならそのほうがいい
ギブスが効くのは、同時分布は書けないけど、条件付き分布はそれぞれ共役で閉じる、というベイズモデル。平均と分散が両方未知の正規モデルなら、平均は正規、分散は逆ガンマから交互に引ける

11: 名無しさん

条件付きから交互に引く、MH法で受理確率1の特別な場合、相関が高いと進みが遅い。手で回すなら $0.8 \times$ 相手 $+ 0.6 \times$ 乱数。これで書けるな

管理人のひとこと

ギブスサンプリング： $x \sim π (x ∣ y)$ 、 $y \sim π (y ∣ x)$ を交互にくり返す。MH法で提案を条件付き分布にした場合で、受理確率は常に1。
例（ $ρ = 0.8$ ）： $X ∣ Y = y \sim N (0.8 y, 0.36)$ 。始点 $y = 2$ から $x = 1.9$ 、 $y = 0.92$ 、 $x = 0.916$ 、 $y \approx 1.213$ 。
$x$ の列の隣どうしの相関は $ρ^{2}$ （0.8で0.64、0.99で約0.98）。条件付き分布が閉じるベイズモデルで使う。

【疑問】ギブスサンプリングって、条件付き分布から順番に引くだけでほんまに同時分布になるん？2変量正規で手で回したい【統計検定1級】

管理人のひとこと

関連スレ