【悲報】新しい勉強法、どのグループでも合格率が上なのに、全体では負けてた【統計検定2級】

新しい勉強法と従来の勉強法で合格率を比べた
全体では新しいほうが80人中48人で60%、従来が200人中146人で73%。新しいほうが負けてる

＞＞1
初心者と経験者に分けて見た？

＞＞2
分けたら、初心者は新しいほうが60人中30人で50%、従来が40人中10人で25%
経験者は新しいほうが20人中18人で90%、従来が160人中136人で85%

＞＞3
どっちのグループでも新しいほうが上やのに、全体では負けてるんか。計算ミスちゃうの

＞＞4
ミスやない。新しい勉強法を使った80人のうち60人が初心者、従来の200人のうち160人が経験者
もともと合格しやすい経験者が従来のほうに偏ってるから、全体で比べると従来が有利に見える
グループに分けると向きが逆になるこの現象を、シンプソンのパラドックスと呼ぶ

＞＞5
経験者かどうか、みたいなのを何て呼ぶん

＞＞6
交絡因子。比べたいもの（勉強法）と結果（合格）の両方に関係していて、見かけの差を作ってしまう変数
経験者ほど従来の勉強法を選びやすくて、経験者ほど合格しやすい。この2本の関係が、勉強法の比較に混ざる

じゃあ、どう比べたらええん

＞＞8
グループに分けて比べる（層別）。経験の有無が同じ人どうしで比べれば、経験の差は混ざらない
全体の1つの数字にしたいなら、同じ人数の構成に当てはめる。両方合わせた初心者100人・経験者180人の構成なら
新しいほう $(0.5\times 100+0.9\times 180)/280\approx 75.7\%$、従来 $(0.25\times 100+0.85\times 180)/280\approx 63.6\%$

＞＞9
いや、それは分け方を都合よく選んでるだけちゃうの。年齢で分けたらまた逆になるかもしれんやん

＞＞10
それはありうる。だから分けるかどうかは、結果を見る前に「何が勉強法の選び方と合否の両方に効きそうか」から決める
結果を見ながら、差が出る分け方を探すのはあかん

＞＞11
いつでも分けて比べるのが正しいん？

＞＞12
いつでもではない。分ける変数が、比べたいものの「結果」やったら分けたらあかん
たとえば勉強法のせいで勉強時間が変わって、それで合否が変わるなら、勉強時間で分けると勉強法の効果の一部を消してしまう。経験の有無は勉強法を選ぶ前から決まってるから、分けてええ

交絡を最初から避ける方法はないん？

＞＞14
ランダムに割り付ける。くじで新しい勉強法と従来の勉強法に分ければ、経験者も初心者も、測ってない要因も、平均的には両方に同じくらい入る
実験ができんデータでは、思いつく交絡因子で層別したり、重回帰で一緒に入れたりして調整するしかない。測ってない交絡因子までは消せん

＞＞15
調整したら因果が言える、ってわけでもないんか

＞＞16
言えるのは「入れた交絡因子の分を除いたら、こうなる」まで。測ってないものが残ってる可能性は書いておく

全体の数字は、交絡因子の偏りで向きまで逆になる。層別で比べる、分けるのは選ぶ前から決まってるもので、結果を見る前に決める。できるならランダム割り付け。全体の60%と73%だけで判断せんでよかったわ