【疑問】A案12%とB案8%、各400人に見せた結果。この差は偶然ちゃうって言えるん？2つの比率の差の検定【統計検定2級】

広告A案を400人に見せたら48人がクリック（12%）、B案は400人中32人（8%）
4ポイントも違うんやからAの勝ちでええやろ

＞＞1
偶然のばらつきでも、それくらいの差は出ることがある。それを確かめるのが2つの比率の差の検定
帰無仮説は「AとBの本当のクリック率は同じ」

＞＞2
やり方は？

＞＞3
まず、同じと仮定したときの共通のクリック率を、2つをまとめて出す

この $\hat{p}$ で、差の標準誤差を計算する

＞＞4
そのあと？

＞＞5
差を標準誤差で割る

両側の $p$ 値は約 $0.059$。有意水準5%では、差があるとは言えない

＞＞6
4ポイントもあって有意じゃないんか

＞＞7
400人ずつやと、クリック率10%のばらつきがそこそこ大きいから
同じ12%と8%でも、800人ずつなら $z\approx 2.67$、$p\approx 0.008$ で有意になる

＞＞8
人数を増やしたら有意になるって、なんかずるくない？

＞＞9
ずるくはない。人数が多いほど差の測り方が正確になるから、同じ差でも偶然とは言いにくくなる
ただ、有意かどうかと、差が大きいかどうかは別の話。そこは効果の大きさを見る

分割表のカイ二乗検定と何が違うん？

＞＞11
2×2表なら同じ検定。補正なしのカイ二乗統計量は $z^2$ になる

$p$ 値も同じ約 $0.059$ になる。違うのは、$z$ やと片側検定にもできるところ

＞＞2
差の信頼区間も出せるん？

＞＞13
出せる。信頼区間では「同じ」と仮定しないから、それぞれの率で標準誤差を出す

95%区間は $0.04\pm 1.96\times 0.0212$ で、約 $-0.001$ から $0.081$

＞＞14
0をぎりぎり含んでるから、検定の結果と合ってるな

＞＞15
そう。ただ検定と区間で標準誤差の出し方が違うから、境目すれすれのときは結論が食い違うこともある

＞＞14
区間の上のほうは8ポイント差やん。それならA案に決めてもよさそうやけど

＞＞17
区間の下は −0.1ポイントで、ほぼ差なしもあり得る。決めるなら、間違えたときの損と、追加で調べる費用を比べることになる
統計がくれるのは「どれくらい不確かか」までで、どっちを選ぶかは損得の話

人数が少ないときも同じでええの？

＞＞19
正規分布で近似してるから、クリックした人数としなかった人数が、どっちの群でも少なすぎないことが条件
目安として、それぞれ5以上や10以上がよく言われる。足りないときはフィッシャーの正確検定を使う