【疑問】有意差なしやったら「差はない」でええやん。検出力って何のためにあるん？【統計検定2級】

検定して有意差なしやったら「差はない」でええやろ
検出力とか第2種の誤りとか、なんで別に考えなあかんのや

＞＞1
おさらいから。検定の間違い方は2種類ある
第1種の誤りは、本当は差がない（帰無仮説が正しい）のに「差がある」と言ってしまうこと。その確率が有意水準 $\alpha$
第2種の誤りは、本当は差があるのに「差がある」と言えないこと。その確率を $\beta$ と書く

＞＞2
検出力は？

＞＞3
本当に差があるときに、ちゃんと「差がある」と言える確率で、$1-\beta$

例でたのむ

＞＞5
内容量500gと書いてある袋を25袋測る。1袋のばらつきは標準偏差10gと分かってるとする
標準誤差は $10/\sqrt{25}=2$。両側5%で検定するなら、平均が $500\pm 1.96\times 2$、つまり496.08未満か503.92超のとき「500gではない」と言う

＞＞6
本当の平均が496gやったら、どれくらいの確率で見つけられるん

＞＞7
本当の平均が496gのとき、標本平均が496.08未満になる確率は

反対側はほぼ0やから、検出力は約52%。半分近くは見逃して「有意差なし」になる

＞＞8
4gも少ないのに、半分は見逃すんか

＞＞9
だから「有意差なし」は「差はない」の証拠にはならん。検出力の低い検定で有意差なしでも、何も言えてないのに近い

＞＞10
なら $\alpha$ を5%から1%にして、もっと慎重にしたらええんちゃう

＞＞11
慎重になるのは第1種の誤りのほうだけ。境目が $500-2.576\times 2\approx 494.85$ に下がるから
本当の平均496gでの検出力は約28%まで落ちる。$\alpha$ を小さくすると $\beta$ は大きくなる。片方だけ減らすことはできん

じゃあ両方減らすにはどうするん

＞＞13
データを増やす。100袋なら標準誤差は1で、境目は498.04
本当の平均496gでの検出力は $P(Z<2.04)\approx 0.98$ まで上がる

＞＞14
何袋測ればええかって、前もって決められるん

＞＞15
決められる。両側5%で、4gの差を検出力80%で見つけたいなら

0.84は標準正規分布の上側20%点。49袋なら検出力は約80%になる

＞＞16
その計算、本当の差が4gって分かってる前提やん。分からんから検定するんちゃうの

＞＞17
そこは「このくらいの差なら見逃したくない」という大きさを、目的から自分で決める
実際の差が分かってるわけやない。見つけたい最小の差を決めて、それに必要な数を出す、という順番

裁判にたとえる説明をよく見るけど

＞＞19
帰無仮説が「無罪」。第1種の誤りが冤罪、第2種の誤りが真犯人を逃すこと
冤罪を減らそうと有罪の基準を厳しくすると、逃す犯人が増える。証拠（データ）を増やせば両方減らせる

$\alpha$ は差がないのに差ありと言う確率、$\beta$ は差があるのに見逃す確率、検出力は $1-\beta$。$\alpha$ を下げると $\beta$ が上がる、両方下げるにはデータを増やす。有意差なしで「差なし」と言うのはもうやめる