5つのグループの平均点を、それぞれのデータだけで推定するのと、階層モデルで推定するのとで比べよ、って問題
【疑問】階層ベイズでグループごとの平均を「縮める」ってどういうこと?よそのグループのデータで自分の推定を動かしてええの?【統計検定1級】
前提のおさらいを2つ
2乗損失のベイズ推定量は事後平均
ギブスサンプリングで、条件付き分布から交互に引けば同時の事後分布が作れる
>>1
モデルを2段にする
1段目:(グループ の観測平均)
2段目:(グループの真の平均も、ある分布から出てくる)
>>3
を固定すると、正規–正規の共役で事後平均は
グループのばらつき に比べて観測の誤差 が大きいほど、全体の平均 のほうへ強く縮める
数字で。観測平均 、各
全体の平均10、 の分散 。 の分散は やから
。縮めた推定は で、
事後分散は 。グループのデータだけの16より小さい
>>5
グループ1の推定を、ほかのグループの点数で18から14.8に下げるのは不公平やろ。グループ1のデータは18って言ってるのに
>>6
18は「真の平均+誤差」。いちばん高いグループは、誤差がプラスに出た可能性も高い。平均への回帰と同じ理屈
このモデルのもとで全グループの2乗誤差の合計を比べると、縮めたほうが期待値で小さい(1グループあたり16に対して9.6)。モデルを仮定しなくても、正規で分散が既知なら、全体平均へ縮める推定量はグループが4つ以上あればどの真の値でも合計の期待値を小さくできる(ジェームズ・スタインの結果)
>>7
ただ、個々のグループで必ず良くなるわけじゃない。本当に飛び抜けたグループは縮めすぎになる。全体で得をする代わりに、端のグループは損をしうる
>>5
をデータから推定して代入するのは、ベイズというより経験ベイズやな
>>9
そう。完全な階層ベイズなら と にも事前分布を置いて、ギブスサンプリングで を交互に引く。 の不確かさも結果に入るから、区間が少し広くなる
>>10
が負になったら0にする。そのときは で全部同じ値に縮む。グループの差が誤差で説明できる、という判断
2段のモデル、 で全体平均へ縮める、全体の誤差は減る、端のグループは損もある。これで説明できるな
管理人のひとこと
- 、。事後平均 、。
- 例(、):、、縮めた推定は 、事後分散9.6。
- 全体の2乗誤差は減るが、飛び抜けたグループは縮めすぎになりうる。 を推定値で代入するのは経験ベイズ、事前分布を置いてギブスで引くのが完全な階層ベイズ。