【疑問】2グループの平均の差のt検定、「等分散を仮定」とウェルチでなんで結果が変わるん？【統計検定2級】

2つのグループの平均をt検定で比べたら、「等分散を仮定」とウェルチで、p値が0.12と0.03でぜんぜん違った
どっちを信じればええんや

＞＞1
おさらいから。2グループの平均の差を、その差の標準誤差で割ったものが $t$
違いは標準誤差の作り方。等分散を仮定するほう（スチューデントのt検定）は、2グループの分散を1つにまとめて（プールして）使う。ウェルチのt検定は、それぞれの分散をそのまま使う

＞＞2
数字を出すと、グループAが8人で平均72・標準偏差4、Bが20人で平均65・標準偏差12やった

＞＞3
等分散を仮定するなら、まとめた分散は

差の標準誤差は $\sqrt{109.5\times (1/8+1/20)}\approx 4.38$ で、$t=7/4.38\approx 1.60$。自由度26でp値は約0.12

＞＞4
ウェルチは？

＞＞5
それぞれの分散を人数で割って足す

$t=7/3.03\approx 2.31$。自由度は専用の式で約25.6になって、p値は約0.029

＞＞6
なんでこんなに違うん

＞＞7
まとめた分散は人数の多いBの分散（144）に引っ張られる。でも平均の差のぶれには、人数の少ないAの分散（16）も $1/8$ の重みで効いてる
ばらつきの小さいAに大きい分散を当てはめてしまうから、標準誤差を大きく見積もって $t$ が小さくなる

＞＞8
逆の組み合わせやったら？

＞＞9
人数の少ないほうの分散が大きいと、逆に標準誤差を小さく見積もって、有意が出すぎる
本当は平均に差がない状態で、20人・標準偏差4と8人・標準偏差12のデータを何回も作って5%で検定するシミュレーションをすると、等分散を仮定したt検定は約18%で有意になる。ウェルチは約4.8%

＞＞10
じゃあ先に分散が等しいかをF検定で調べて、等しければスチューデント、違えばウェルチ、でええやろ

＞＞11
その2段階のやり方は勧められないことが多い。F検定で「等しくないとは言えない」となっても、等しい証拠にはならんから
人数が少ないと、分散がかなり違ってもF検定では見逃す。最初からウェルチを使っておけば、分散が等しいときでも損はほとんどない

＞＞12
いや、教科書の問題は「等分散を仮定して」って書いてあるやつばっかりやぞ

＞＞13
問題文に「等分散を仮定」とあるならスチューデントで計算すればええ。自由度は $n_1+n_2-2$
実際のデータを分析するときは、等分散を仮定する根拠がなければウェルチ、ってだけの話

同じ人の前と後を比べるときも、この2つのどっちか？

＞＞15
それはどっちでもない。同じ人のペアがあるなら、1人ずつの差をとって、その差の平均が0かを1標本のt検定で調べる（対応のあるt検定）
2グループとして扱うと、人ごとの差（もともと点数が高い人・低い人）がばらつきに入って、差を見つけにくくなる

2グループの人数が同じなら、どっちでも同じになる？

＞＞17
人数が同じなら $t$ の値は一致する。まとめた分散で計算しても、それぞれで計算しても、標準誤差が同じになるから
違うのは自由度だけで、分散が大きく違うとウェルチの自由度は小さくなる

等分散を仮定するとまとめた分散、ウェルチはそれぞれの分散。人数と分散の組み合わせで、まとめた分散は大きくも小さくも外れる。迷ったらウェルチ、同じ人のペアなら対応のあるt検定。0.12と0.03の理由が分かったわ