【疑問】分散・標準偏差・共分散・相関係数、どれが何を測ってるん？疑似相関と偏相関も【G検定】

1: 名無しさん

分散と標準偏差と共分散と相関係数、名前が似すぎて区別できん
全部「ばらつき」の話なん？

2: 名無しさん

前提のおさらい。平均は「データの真ん中」を1つの数で表したもの。ここからは、その真ん中からどれだけ散らばってるかの話

3: 名無しさん

＞＞1
5人の勉強時間 $x$ （時間）と点数 $y$ で全部出してみる
$x$ ：1, 2, 3, 4, 5（平均3）
$y$ ：50, 55, 65, 70, 80（平均64）
分散は「平均からの差の2乗」の平均

s_{y}^{2} = \frac{( - 14 ) ^{2} + ( - 9 ) ^{2} + 1 ^{2} + 6 ^{2} + 1 6 ^{2}}{5} = \frac{570}{5} = 114

標準偏差はその平方根で $s_{y} = 114 \approx 10.7$ 点。2乗をもとに戻して、点数と同じ単位にしたもの

4: 名無しさん

＞＞3
5で割ってるけど、n−1 の4で割るんちゃうの？

5: 名無しさん

＞＞4
手元のデータそのもののばらつきなら $n$ で割る。母集団の分散を推定したいときは $n - 1$ で割る不偏分散を使う（この例なら $570/4 = 142.5$ ）
G検定の計算問題では、どちらで割るか問題文に書いてあるのを確認するのが一番確実

6: 名無しさん

共分散は2つの変数が一緒に動くかを測る。 $x$ の差と $y$ の差を掛けて平均する

s_{x y} = \frac{( - 2 ) ( - 14 ) + ( - 1 ) ( - 9 ) + 0 \cdot 1 + 1 \cdot 6 + 2 \cdot 16}{5} = \frac{75}{5} = 15

正なら「片方が大きいともう片方も大きい」。でも単位（時間×点）がついてて、15が強いのか弱いのか分からん

7: 名無しさん

＞＞6
そこで、それぞれの標準偏差で割って単位を消したのが相関係数

r = \frac{s _{x y}}{s _{x} s _{y}} = \frac{15}{2 114} \approx 0.99

必ず −1 から 1 のあいだに入る。1に近いほど右上がりの直線にそろってる

8: 名無しさん

＞＞7
0.99なら勉強時間が点数を決めてる、って言えるやん

9: 名無しさん

＞＞8
言えん。相関は一緒に動くことしか示さん
有名な例が、アイスの売上と水難事故の件数。どっちも気温が高い日に増えるから相関が出るけど、アイスが事故を起こしてるわけやない。こういう見かけの相関が疑似相関

10: 名無しさん

＞＞9
じゃあ気温の影響を抜いたら、相関はどうなるん？

11: 名無しさん

＞＞10
それを測るのが偏相関係数。第3の変数 $z$ （気温）の影響を取り除いた $x$ と $y$ の相関

r_{x y \cdot z} = \frac{r _{x y} - r _{x z} r _{y z}}{( 1 - r _{x z}^{2} ) ( 1 - r _{y z}^{2} )}

アイスと事故の相関 $r_{x y} = 0.6$ 、気温とアイス $r_{x z} = 0.8$ 、気温と事故 $r_{y z} = 0.75$ なら、分子が $0.6 - 0.8 \times 0.75 = 0$ で、偏相関は0
気温をそろえると、アイスと事故はまったく関係なかったことになる

12: 名無しさん

＞＞11
ただ、気温以外にも隠れた変数があるかもしれん。偏相関で0になったからといって、ほかの変数まで全部調べたことにはならんで

管理人のひとこと

分散は平均からの差の2乗の平均、標準偏差はその平方根（点数 50, 55, 65, 70, 80 で分散114、標準偏差約10.7点）。推定には $n - 1$ で割る不偏分散（142.5）を使う。
共分散は2つの変数の差を掛けた平均（例では15）で、単位がつく。それぞれの標準偏差で割った相関係数は −1〜1（例では約0.99）。
相関は因果を示さない。気温のような第3の変数で生まれる見かけの相関が疑似相関。
偏相関係数 $r_{x y \cdot z}$ は第3の変数の影響を除いた相関。 $r_{x y} = 0.6, r_{x z} = 0.8, r_{y z} = 0.75$ なら0になる。