【疑問】偽発見率（FDR）って、ボンフェローニと何が違うん？ゆるくしただけちゃうの【統計検定準1級】

検定がたくさんあるときは偽発見率（FDR）を使う、って聞いた
でも結局、ボンフェローニを甘くしただけちゃうの

＞＞1
抑えてるものが違う
ボンフェローニやホルムは「1つでも誤って有意にする確率」（ファミリーワイズエラー率）を5%以下にする
FDRは「有意にしたものの中に、誤りが混ざる割合」の期待値を抑える。有意にした数を $R$、その中の誤りの数を $V$ として

＞＞2
割合を抑えるってことは、誤りが混ざるのは認めてるんか

＞＞3
そう。100個有意にしたら、そのうち5個くらいは誤りかもしれん、を許す
1つの誤りも許さん、とはしない代わりに、本当の効果を拾える数がずっと増える

具体的な手順は？

＞＞5
よく使うのはベンジャミーニ・ホッホベルク法。$m$ 個の $p$ 値を小さい順に並べて、$k$ 番目の $p$ 値を $k\alpha /m$ と比べる
条件を満たす中で一番大きい $k$ を見つけて、1番目から $k$ 番目まで全部を有意にする

＞＞6
例で頼む

＞＞7
10個の $p$ 値が小さい順に 0.001, 0.008, 0.012, 0.019, 0.041, 0.060, 0.11, 0.30, 0.52, 0.90 とする。$\alpha =0.05$ なら比べる値は $0.005,0.010,0.015,0.020,0.025,\dots$
4番目の0.019は0.020以下、5番目の0.041は0.025より大きくて、それより後も全部届かない
だから4個が有意

＞＞8
ボンフェローニやったら？

＞＞9
全部 $0.05/10=0.005$ と比べるから、有意は0.001の1個だけ
ホルム法も、2番目の0.008が $0.05/9\approx 0.0056$ に届かんからそこで止まって1個

＞＞10
途中で条件を満たさんところがあっても、後ろで満たせば前は全部有意なん？

＞＞11
そう。「条件を満たす一番大きい $k$」を探すから、途中に届かないものがあっても、それより後に満たすものがあれば、そこまで全部有意にする
前から順に見て止まるホルム法とは、見ていく向きが違う

ほんまに5%に抑えられてるん？

＞＞13
1000個の検定のうち100個に本当の効果があるシミュレーションで確かめると
FDRは平均約0.044で、5%以下に収まってる（理論上は $0.05\times 900/1000=0.045$ 以下）
本当の効果を拾えた割合は、ベンジャミーニ・ホッホベルク法で約61%、ボンフェローニで約19%

＞＞14
それなら全部FDRでええやん。ボンフェローニの出番ないやろ

＞＞15
目的で使い分ける。新薬の効き目を確かめる最終の試験みたいに「1つでも誤ったら困る」場面はファミリーワイズエラー率で抑える
遺伝子を何千個も調べて、次に詳しく調べる候補を選ぶみたいな場面は、多少の誤りを含んでも候補を多く拾いたいからFDR

＞＞16
検定どうしの関係はどうでもええの？

＞＞17
ベンジャミーニ・ホッホベルク法が保証されるのは、検定が独立か、一緒に動く向きの関係（正の依存）があるとき
どんな関係でも保証したいなら、基準をもっと厳しくした変形版を使う

FDRは「有意にしたものの中の誤りの割合」を抑える。手順は $k\alpha /m$ と比べて一番大きい $k$ まで全部有意。拾える数は増えるが、1つの誤りも許せん場面はボンフェローニやホルム。甘くしただけやなかった