【疑問】3グループのペアを全部比べるとき、テューキー法とボンフェローニってどっちがええん？【統計検定準1級】

3つの教え方で5人ずつテストをしたら、平均が60点、68.6点、70点やった
どのペアに差があるか全部比べたい。テューキー法とボンフェローニ、どっちを使えばええん

＞＞1
前提のおさらい。ペアごとに普通に検定を繰り返すと、どこかで偶然の有意が出る確率が5%より大きくなる
3グループならペアは3通り。全体で5%に抑える方法として、ボンフェローニは「1回ごとの基準を $0.05/3$ にする」、テューキー法は「ペアの差の中でいちばん大きいものの分布」を使う

＞＞2
「いちばん大きい差の分布」って何

＞＞3
全部のグループの平均が本当は同じとき、いちばん大きい平均からいちばん小さい平均を引いた差を、平均の標準誤差で割った値の分布（スチューデント化された範囲の分布）
いちばん大きい差でさえ偶然に出る程度か、を基準にするから、どのペアの比較もその基準以下なら全体で5%に収まる

数字でやってくれ

＞＞5
グループ内のばらつき（分散分析のグループ内の平均平方）が25、自由度は $15-3=12$ とする
3グループ、自由度12の上側5%点 $q$ は約3.77。各グループ5人やから、差の境目（HSD）は

平均の差がこれ以上なら有意

＞＞6
ペアの差は 8.6、10、1.4 やから、60点と68.6点、60点と70点の2つが有意か

＞＞7
そう。68.6点と70点の差1.4は有意やない

ボンフェローニやとどうなる

＞＞9
2つの平均の差の標準誤差は $\sqrt{25\times (1/5+1/5)}\approx 3.16$。両側で $0.05/3$ の基準にすると、自由度12のtの境目は約2.78
差の境目は $2.78\times 3.16\approx 8.79$ で、テューキーの8.44より大きい
60点と68.6点の差8.6は、テューキーなら有意、ボンフェローニなら有意にならん

＞＞10
ならいつでもテューキーのほうが得やん

＞＞11
「全部のペアを比べる」ときはテューキーのほうが拾える。ボンフェローニは検定どうしの関係を使わずに足し算で抑えるから、そのぶん厳しめ
でも比べたいペアが一部だけ（たとえば3つのうち2つのペアだけ）なら、ボンフェローニは $0.05/2$ で済むから、テューキーより緩くなることもある

何も補正せんかったら？

＞＞13
自由度12のtの両側5%点は約2.18で、境目は $2.18\times 3.16\approx 6.89$
3つ比べると全体で5%を超える。68.6点と70点の差は小さいから結論は変わらんけど、ペアが増えるほど偶然の有意が混ざる

分散分析で有意やないと、テューキー法は使ったらあかんのやろ

＞＞15
テューキー法はそれ自体で全体を5%に抑えてるから、分散分析を先に通す必要はない
この例やと分散分析も $F\approx 5.86$ で、自由度(2, 12)のp値は約0.017で有意やけど

＞＞16
いや、教科書には「分散分析で有意なら多重比較」って順番で書いてあったぞ

＞＞17
そう教えることは多い。ただ2段階にすると、分散分析で有意やなかったときに、テューキー法なら見つかった差を見逃すことになる
2段階にするかどうかは、前もって手順として決めておく。結果を見てから都合のいい順番を選ぶのはあかん

グループの人数がばらばらのときは？

＞＞19
人数が違うときは、ペアごとに標準誤差を変えて計算するテューキー・クレイマー法を使う
対照群（何もしないグループ）とほかのグループだけを比べたいなら、ダネット法という専用の方法もある

全部のペアを比べるならテューキー、境目は $q\sqrt{\text{グループ内の平均平方}/n}$。ボンフェローニより拾えるけど、一部のペアだけならボンフェローニが有利なこともある。分散分析を先に通すかは前もって決める。使い分けられそうや