【疑問】p値が0.04やったら「仮説が正しい確率4%」ちゃうの？【統計検定2級】

p値が0.04で有意、って結果を見て
「帰無仮説が正しい確率は4%」って読んでたんやけど、違うって言われた

＞＞1
用語から
帰無仮説は「差はない」「効果はない」っていう、否定できるかを調べる側の仮説
p値は「帰無仮説が正しいと仮定したとき、実際に得られたデータと同じか、それ以上に極端なデータが出る確率」

＞＞2
長いな。具体例で頼む

＞＞3
内容量500mLと書いてあるボトルを100本測ったら、平均498mL
1本ごとのばらつきは標準偏差10mLと分かってるとする
帰無仮説は「本当の平均は500mL」
標準誤差（平均値のブレの目安）は $10/\sqrt{100}=1$ やから

＞＞4
で、p値は？

＞＞5
帰無仮説が正しいなら、この $z$ は標準正規分布に従う
$z\le -2.0$ か $z\ge 2.0$ になる確率（両側）は約0.0455
有意水準（これより小さければ帰無仮説を棄却する、と前もって決めた基準）を0.05にしてたら、0.0455 は0.05より小さいから棄却

＞＞6
やっぱり「500mLである確率が4.55%」ってことやん

＞＞7
ちゃう。p値は「500mLだと仮定したうえで」計算した確率
仮定そのものが正しい確率ではない
アメリカ統計学会（ASA）の声明でも、p値は仮説が正しい確率でも、データが偶然だけで生じた確率でもない、と書かれてる

＞＞8
じゃあ p値が小さいほど、差が大きいってことは？

＞＞9
それも違う。p値はデータの数でも変わる
1万本測って平均499.8mLやったら、標準誤差は $10/\sqrt{10000}=0.1$ で

p値はさっきと同じ0.0455やけど、差はたった0.2mL

＞＞10
0.2mLの不足で「有意」って言われても困るな

＞＞11
だから p値だけやなく、差の大きさと信頼区間も一緒に見る
この例なら差の95%信頼区間は

不足はあっても0.4mL以下、実用上は気にならん、と判断できる

逆に p値が0.06やったら「差はない」って言ってええん？

＞＞13
言えん。「差があるという十分な証拠が得られなかった」だけ
データが少ないと、本当は差があっても有意にならんことはよくある

＞＞14
いや、0.05で線を引くって決めたんやから、0.06なら差なしで扱うしかないやろ

＞＞15
判断としては「棄却しない」になる。ただそれは帰無仮説が正しいと認めたわけやない
0.049と0.051で結論が真逆になるのも不自然やから、p値の値そのものと差の大きさを一緒に報告するのが今のやり方

間違って棄却することもあるんやろ

＞＞17
第1種の誤り（本当は帰無仮説が正しいのに棄却してしまうこと）の確率が、有意水準そのもの
有意水準0.05なら、本当に差がない状況でも、平均すると20回に1回くらいは「有意」が出る
逆に、本当は差があるのに棄却できないのが第2種の誤り

＞＞18
20回検定して1個だけ有意、みたいなのは怪しいってことか

＞＞19
そう。たくさん検定して有意なのだけ報告するのはアカン。ASAの声明でも、何回どんな分析をしたか全部示すように求めてる