【疑問】各1000人で調べたら「有意差あり」、でも差は2点だけ。有意なら効果があるってことちゃうの？効果量【統計検定準1級】

新しい教材を使った群と使わない群で、テストの平均点を比べた
差は2点（標準偏差は10点）。各群1000人で $p<0.0001$ やった。これはすごい教材ってことでええよな

＞＞1
$p$ 値が小さいのは「差が0ではなさそう」ということで、差が大きいということではない
同じ2点差でも、各群50人なら $t=1.0$、$p\approx 0.32$。各群1000人なら $t\approx 4.47$

＞＞2
人数で $p$ 値が変わるのは分かった。じゃあ差の大きさは何で見るん

＞＞3
効果量。よく使うのが、平均の差を標準偏差で割ったもの（コーエンの $d$）

$s$ は2群をまとめた標準偏差。今回は $d=2/10=0.2$

＞＞4
0.2って大きいの？小さいの？

＞＞5
よく使われる目安は、0.2で小さい、0.5で中くらい、0.8で大きい
ただこれはあくまで目安で、分野によって見方は変わる

＞＞6
0.2が「小さい」って、どれくらいの差なん。イメージがわかん

＞＞7
2群が同じ標準偏差の正規分布なら、教材を使った人と使わない人を1人ずつ選んだとき、使った人のほうが点が高い確率は

五分五分の0.5から、少しだけ上。$d=0.5$ で約0.64、$d=0.8$ で約0.71

＞＞8
55.6%か。それならこの教材は大したことないな

＞＞9
それは早い。10万人が使うなら、平均2点の底上げは全体としては無視できない、という見方もある
費用が安くて副作用もないなら、小さい効果でも採用する価値はある

＞＞10
いや、個人として買うかどうかなら、2点のために時間を使うかは微妙やろ。全体で得でも、1人にとっては誤差の範囲や

＞＞11
どっちの立場でも、判断の材料が効果量で、$p$ 値ではないところは同じ
$p$ 値だけ見てたら、その議論自体ができない

効果量って、論文に書いてあるもんなん？

＞＞13
最近は $p$ 値と一緒に、効果量とその信頼区間を書くように求める学術誌が多い
$p$ 値は人数で動くから、それだけでは研究どうしを比べられない

効果量って、人数を決めるときにも使うんやろ

＞＞15
使う。見つけたい効果量を先に決めて、検出力から1群あたりの人数を出す
有意水準5%（両側）、検出力80%なら、近似で

$d=0.5$ で約63人、$d=0.2$ で約393人

＞＞16
小さい効果を見つけるには、人数が一気に増えるんやな

＞＞17
効果量が半分になると、人数は約4倍。$d$ が2乗で効くから

比率の差でも効果量ってあるん？

＞＞19
ある。差そのもの（12%−8%の4ポイント）や、比（1.5倍）、オッズ比も効果の大きさを表す
大事なのは、$p$ 値と別に「どれだけ違うか」を数字で示すこと