【疑問】多重比較、テューキー・ボンフェローニ・シェッフェってどう使い分けるん？同じデータで比べてみたい【統計検定1級】

分散分析で有意になったあと、どの群どうしに差があるか調べよ、って問題
方法がいくつもあって、どれを選べばいいのか分からん

前提のおさらい。一元配置の例：3群4個ずつで群平均 $6,8,5$、$S_W=6$、誤差の自由度9、$M{S}_E=6/9\approx 0.667$。$F=14.0$ で有意

＞＞1
選び方は「何を、何個比べるか」で決まる
全部のペア → テューキー、事前に決めた少数の比較 → ボンフェローニ、対照群とだけ → ダネット、ペア以外の対比も全部 → シェッフェ
どれも、まとめて見たときに1つでも誤って有意にする確率を $\alpha$ 以下に抑える

＞＞2
同じデータで、2群の差がいくつ以上なら有意かを出す（5%）
テューキー：スチューデント化範囲 $q(3,9)\approx 3.948$ で、$3.948\sqrt{0.667/4}\approx 1.61$
ボンフェローニ（3ペア）：$t_9$ の上側 $0.05/6$ 点 $\approx 2.933$ で、$2.933\sqrt{0.667\times 2/4}\approx 1.69$
シェッフェ：$\sqrt{2F(2,9)}\approx 2.918$ で、$2.918\times 0.577\approx 1.68$

＞＞4
差は B−A $=2$、B−C $=3$、A−C $=1$。どの方法でも B−A と B−C は有意、A−C は有意でない
ペアだけ比べるならテューキーの境目が一番小さい。全部のペアに合わせて作った方法やから

＞＞5
補正なしで $t$ 検定をくり返せば、境目は $2.262\times 0.577\approx 1.31$ で済むやん。そのほうが差を見つけやすいやろ

＞＞6
見つけやすいのは、誤って見つける確率も上がるから。3ペアを5%でくり返すと、全部の群の平均が等しくても、どれかが有意になる確率は5%を超える
比べる数が増えるほど、この差は大きくなる

＞＞3
シェッフェが要るのは、データを見てから比べ方を決めるとき。たとえば「BとそれぞれA・Cの平均」を比べる
対比 $8-(6+5)/2=2.5$、標準誤差 $\sqrt{0.667\times (1+0.25+0.25)/4}=0.5$
シェッフェの境目は $2.918\times 0.5\approx 1.46$ で、2.5は有意

＞＞8
シェッフェは考えうるすべての対比に同時に効くから、ペアだけ見るなら損をする。この例では3群でペアも少ないから差は小さいけど、群が増えると開く

＞＞3
分散分析で有意にならなかったら、多重比較はしなくていいん？

＞＞10
テューキーやボンフェローニは、それだけで全体の誤りを抑えてるから、分散分析を先に通す必要はない。分散分析で有意でもペアは全部有意でない、ということも起こる

何を何個比べるか決める、方法を選ぶ、境目を出して差と比べる。答案ではこの順に書けばええな