【疑問】片側検定にしたらp値が半分になった。これってズルちゃうの？【統計検定2級】

新しい教え方で点数が上がったか検定したら、両側でp値0.072で有意にならんかった
片側にしたら0.036で有意。片側にしただけで結果が変わるの、なんかズルくない？

＞＞1
おさらいから。検定統計量 $z$ が、差がないとき（帰無仮説の下で）標準正規分布に従うとする
両側検定は「上がった」「下がった」のどっちのずれも差として見る。片側検定は「上がった」だけを見る
$z=1.80$ なら

＞＞2
p値が半分になるのは式どおりってことか。でもそれなら、みんな片側にしたらええやん

＞＞3
片側にすると、逆向きの差はどれだけ大きくても見ない約束になる
新しい教え方で点数が大きく下がっても「上がったとは言えない」としか言えん。下がったことを見つけたいなら、片側では検定にならない

棄却する境目（棄却域）で見るとどう違うん

＞＞5
有意水準5%なら、両側は上下に2.5%ずつ置くから、境目は $|z|\ge 1.96$
片側は上だけに5%を置くから、境目は $z\ge 1.645$
$z=1.80$ はその間にあるから、両側では棄却できず、片側では棄却できる

＞＞6
上に5%全部置いてるから、上向きの差は見つけやすいってことか

＞＞7
そう。検出力（本当に差があるときに有意になる確率）で比べると、本当の効果が $z$ の目盛りで2.5ぶんあるとき

同じデータ数で、向きが合ってれば片側のほうが差を見つけやすい

結果を見てから、差が出た向きで片側にするのはアカンの？

＞＞9
アカン。それをやると、実質の有意水準が10%になる
上に出たら上向きの片側、下に出たら下向きの片側で、それぞれ5%で棄却するのは、$|z|\ge 1.645$ で棄却するのと同じ

＞＞10
5%のつもりで10%の検定をしてたことになるんか。それはズルやな

＞＞1
データを見る前に「上がったかどうかだけを見る」と決めてたなら、片側で問題ない
決めてなかったなら、両側で報告するのが筋

じゃあ片側を使ってええのはどんなとき

＞＞13
逆向きの差が出ても判断が変わらないとき、がよく例に出される
たとえば「不良率が基準の1%を超えてたら出荷を止める」なら、下回ってても出荷するだけやから、上向きだけ見ればいい
新しい治療法みたいに、悪くなる可能性も見たいときは両側が基本

＞＞14
論文やと、だいたい両側で書いてある気がする

＞＞15
両側がふつうの選び方になってることが多い。片側を使うなら、なぜ片側なのかを前もって決めて書いておく

t検定でも同じなん？

＞＞17
同じ。16人の点数の平均が基準より2.5高く、標準偏差が5なら、$t=2.5/(5/\sqrt{16})=2.0$ で自由度15

境目は片側で約1.753、両側で約2.131

＞＞18
片側のp値が両側のちょうど半分になるのは、t分布も左右対称やからか

＞＞19
そう。左右対称な分布なら、統計量が予想した向きに出たときは、片側のp値は両側の半分
逆の向きに出たら、片側のp値は0.5より大きくなる。$t=-2.0$ なら、上向きの片側のp値は約0.968

分割表のカイ二乗検定は、片側と両側のどっちなん

＞＞21
ずれを2乗して足すから、どっちの向きのずれも大きい値になる
だから分布の右側だけを棄却域にするけど、中身はどっち向きのずれも見てる検定