【疑問】人数が少ない分割表はフィッシャーの正確検定って言われた。カイ二乗検定と何が違うん？【統計検定準1級】

16人で、新しい方法Aの8人中7人、従来の方法Bの8人中2人に効果があった
カイ二乗検定をしようとしたら、人数が少ないからフィッシャーの正確検定にしろって言われた。何が違うんや

＞＞1
カイ二乗検定は、カイ二乗分布で近似した検定。人数が多ければよく合うけど、期待度数が小さいと近似が悪くなる
この表やと、効果があった9人・なかった7人を8人ずつに分けるから、期待度数は4.5と3.5。5未満のマスがある

＞＞2
フィッシャーのほうは近似せんの？

＞＞3
しない。行と列の合計を固定して、「Aの8人のうち効果があった人が何人になるか」の確率を、組合せで正確に計算する
16人中9人に効果があって、そこから8人をAに選ぶと考えると、Aの効果ありの人数は超幾何分布に従う

＞＞4
実際に計算してみて

＞＞5
帰無仮説（AとBで効果は同じ）のもとで、Aの効果ありがちょうど7人になる確率は

8人全員になる確率は $\frac{{}_9{C}_8{}_7{C}_0}{{}_{16}{C}_8}=\frac{9}{12870}\approx 0.0007$

＞＞6
で、p値は？

＞＞7
「実際と同じか、もっと極端な表」の確率を足す。Aが7人以上なら $0.0196+0.0007\approx 0.020$ で、これが片側のp値
両側は、反対側（Aが2人以下）も同じくらい極端なものとして足す。この表は左右対称やから約0.041

＞＞8
カイ二乗検定でやったらどうなるん

＞＞9
補正なしのカイ二乗検定やとp値は約0.012で、フィッシャーの0.041よりずっと小さく出る
イェーツの補正をかけると約0.044で、フィッシャーに近づく
少ない人数で補正なしを使うと、有意が出やすすぎることがある

＞＞10
なら、いつでもフィッシャーを使えばええやん。正確なんやから

＞＞11
人数が多いと計算は重くなるけど、今のコンピュータならたいてい計算できる。だからいつでもフィッシャー、という考え方もある
ただ、とびとびの確率を足すから、実際の第1種の誤りの確率は5%より小さめになりやすい（保守的）
人数が十分あれば、カイ二乗検定とほぼ同じ答えになる

有名な例があるって聞いた

＞＞13
紅茶にミルクを先に入れたか後に入れたかを当てられる、という人の話
8杯のうち4杯ずつ用意して、どの4杯がミルクが先かを当てさせる。当てずっぽうで4杯とも当たる確率は

全部当てれば、偶然とは考えにくい

＞＞14
4杯中3杯当たったら？

＞＞15
3杯以上当たる確率は、3杯の組み合わせが ${}_4{C}_3\times {}_4{C}_1=16$ 通りあるから $(16+1)/70\approx 0.24$
3杯当てたくらいでは、まぐれでも4回に1回くらい起きる

期待度数が小さいならフィッシャー。行と列の合計を固定して、超幾何分布で「同じかもっと極端な表」の確率を足す。少ないときに補正なしのカイ二乗を使うと有意が出すぎる。人数が多ければどっちでもほぼ同じ。分かったわ