【悲報】20項目で検定して1個だけ有意、喜んでたら「それ偶然やろ」と言われた【統計検定準1級】

新しい教材の効果を20項目で検定したら、1項目だけ p = 0.03 で有意やった
5%水準で有意なんやから、効果あったってことやろ

＞＞1
有意水準5%は「本当は効果がなくても、1回の検定で5%の確率で有意が出る」ってこと
20回が独立なら、効果がまったくなくても1回以上有意が出る確率は

＞＞2
64%もあるんか。むしろ出るほうが普通やん

＞＞3
回数ごとに見ると、3回で約14%、5回で約23%、10回で約40%
この「どれか1つでも誤って棄却してしまう確率」をファミリーワイズエラー率と呼ぶ

じゃあ何回も検定したいときはどうするん

＞＞5
いちばん簡単なのがボンフェローニ補正。$m$ 回検定するなら、1回ごとの基準を $\alpha /m$ に下げる
20項目なら $0.05/20=0.0025$ で、＞＞1の $p=0.03$ は届かない

＞＞6
それ、検定どうしが独立じゃなくても使えるん？

＞＞7
使える。「どれか1つでも起きる確率」は「それぞれの確率の和」以下やから

独立なら実際の値は、10回で $1-(1-0.005{)}^{10}\approx 0.049$ で、ほぼ $\alpha$ ちょうど

＞＞8
でも基準をそこまで下げたら、本当に効果がある項目まで見逃すやろ

＞＞9
その通りで、ボンフェローニは厳しめ（保守的）
同じ5%の保証のまま少し緩めたのがホルム法。$p$ 値を小さい順に並べて、$k$ 番目を $\alpha /(m-k+1)$ と比べ、届かなかったところで止める

＞＞10
例ください

＞＞11
4項目で $p$ 値が 0.005, 0.012, 0.020, 0.30 とする
ボンフェローニは全部 $0.05/4=0.0125$ と比べるから、有意は2つ
ホルムは順に $0.0125$、$0.05/3\approx 0.0167$、$0.025$、$0.05$ と比べて、$0.005$、$0.012$、$0.020$ の3つが有意。4つ目の0.30で止まる

＞＞12
ホルムのほうが必ず同じか多く拾えるなら、ボンフェローニを使う意味ないやん

＞＞13
拾える数ならホルムの勝ち
ボンフェローニのよさは、基準が全項目で1つで済むこと。信頼区間を何本も同時に出すときも、各区間を $1-\alpha /m$ で作るだけでええ（4本なら各98.75%）

そもそも補正なんかせんで、何回検定したかを全部書いとけばええんちゃうの

＞＞15
全部書くのはどっちにしても必要。読む人が判断できる
ただ「どれか1つでも効いた」と主張するなら補正は要る。最初から主に見る項目を1つに決めておけば、その1つは補正なしで検定できる

分散分析のあとで、グループのペアを全部比べるときは？

＞＞17
3グループならペアは3通り、5グループなら10通り
ボンフェローニなら $0.05/10=0.005$ で比べる。ペアの比較専用のテューキー法もある

遺伝子みたいに、何千回も検定するときは？

＞＞19
1000回でボンフェローニやと基準が $0.00005$ で、厳しすぎてほとんど何も拾えん
そういうときは「有意にしたものの中に、誤りが混ざる割合」を抑える偽発見率（FDR）という考え方を使うことが多い

検定を増やすほど偶然の有意が出る。ボンフェローニは $\alpha /m$ で単純、ホルムは同じ保証でもう少し拾える。何回検定したかは全部書く。20項目で1個は、喜ぶ前に疑うわ