【疑問】分散共分散行列の固有値って何を表してるん？正定値ってどういう意味【統計検定1級】

21レスカテゴリ：統計・確率

1: 名無しさん

多変量の解説で「分散共分散行列を固有値分解して」って出てきて止まった
固有値が何を表してるのか分からん

2: 名無しさん

前提のおさらい。2つの確率変数 $X_{1}, X_{2}$ の分散と共分散を並べたものが分散共分散行列

Σ = (V [X_{1}] Cov [X_{1}, X_{2}] Cov [X_{1}, X_{2}] V [X_{2}]) = (5222)

このスレではずっとこの数字で行く。対称行列になってる

3: 名無しさん

＞＞1
まず線形結合 $Y = a_{1} X_{1} + a_{2} X_{2}$ の分散を書く

V [Y] = a_{1}^{2} \cdot 5 + 2 a_{1} a_{2} \cdot 2 + a_{2}^{2} \cdot 2 = a^{⊤} Σ a

この $a^{⊤} Σ a$ の形を二次形式という

4: 名無しさん

＞＞3
二次形式って、ほんまにただの分散なん？数字で見せて

5: 名無しさん

＞＞4
$a = (1, 1)^{⊤}$ なら $5 + 2 \times 2 + 2 = 11$
足し算の分散の公式 $V [X_{1} + X_{2}] = V [X_{1}] + V [X_{2}] + 2 Cov = 5 + 2 + 4 = 11$ と同じ

6: 名無しさん

固有値は $Σ p = λ p$ となる $λ$ 。 $det (Σ - λ I) = 0$ を解く

(5 - λ) (2 - λ) - 2^{2} = λ^{2} - 7 λ + 6 = (λ - 6) (λ - 1) = 0

だから $λ_{1} = 6, λ_{2} = 1$

7: 名無しさん

＞＞6
固有ベクトルは、 $λ = 6$ なら $(5 - 6) p_{1} + 2 p_{2} = 0$ から $(2, 1)$ の向き
$λ = 1$ なら $(5 - 1) p_{1} + 2 p_{2} = 0$ から $(1, - 2)$ の向き
長さ1にそろえると $p_{1} = (2, 1)^{⊤} / 5, p_{2} = (1, - 2)^{⊤} / 5$ 。内積は $2 - 2 = 0$ で直交してる

8: 名無しさん

で、6って何の6なん

9: 名無しさん

＞＞8
$a = p_{1}$ を入れると

p_{1}^{⊤} Σ p_{1} = \frac{1}{5} (4 \times 5 + 2 \times 2 \times 1 \times 2 + 1 \times 2) = \frac{30}{5} = 6

長さ1の $a$ をどう選んでも、 $V [a^{⊤} X]$ は最大で6、最小で1
最大になる向きが固有ベクトル、そのときの分散が固有値

10: 名無しさん

＞＞9
ほんまに間に入るか試した。 $a = (1, 0)^{⊤}$ なら5、 $a = (1, - 1)^{⊤} / 2$ なら $(5 - 4 + 2) /2 = 1.5$
どっちも1と6のあいだやな

11: 名無しさん

固有値分解の形で書くと

Σ = 6 p_{1} p_{1}^{⊤} + 1 p_{2} p_{2}^{⊤}

対角成分の和（トレース）は $5 + 2 = 7 = 6 + 1$ 、行列式は $5 \times 2 - 4 = 6 = 6 \times 1$
全体の分散の合計は固有値の合計に等しい

12: 名無しさん

正定値ってなんなん

13: 名無しさん

＞＞12
0でないどんな $a$ でも $a^{⊤} Σ a > 0$ になること
固有ベクトルで $a$ を分解すると $a^{⊤} Σ a = \sum_{i} λ_{i} (p_{i}^{⊤} a)^{2}$ になるから、固有値が全部正 ⇔ 正定値
どんな線形結合でも分散が正、ということ

14: 名無しさん

＞＞13
固有値が0のときは？たとえば $Σ = (1111)$

15: 名無しさん

＞＞14
固有値は2と0。 $a = (1, - 1)^{⊤}$ で $V [X_{1} - X_{2}] = 1 - 2 + 1 = 0$
$X_{1} - X_{2}$ が定数、つまり片方がもう片方で決まってる
0以上ではあるから半正定値。正定値ではない

16: 名無しさん

＞＞13
でも本物のデータから計算した分散共分散行列なら、いつも半正定値やろ
わざわざ確かめる意味あるんか

17: 名無しさん

＞＞16
自分で相関を「決めた」ときに崩れる
3変数で、どのペアの相関も $- 0.6$ にしたとする。1つずつ見ればどれも $- 1$ から1のあいだ
でも $V [X_{1} + X_{2} + X_{3}] = 3 + 2 \times 3 \times (- 0.6) = - 0.6$ で、分散が負になる
固有値は $1 + 2 \times (- 0.6) = - 0.2$ と $1 - (- 0.6) = 1.6$ （2つ）。負の固有値があるから、そんな相関行列はありえない

18: 名無しさん

逆行列はどう出てくるん

19: 名無しさん

＞＞18
正規分布の密度やマハラノビス距離に $x^{⊤} Σ^{- 1} x$ が出てくる

Σ^{- 1} = \frac{1}{6} (2 - 2 - 2 5)

$x = (1, 1)^{⊤}$ なら $\frac{1}{6} (2 - 4 + 5) = 0.5$

20: 名無しさん

＞＞19
固有値で書くと $Σ^{- 1}$ は固有値が $1/ λ$ になるだけ

x^{⊤} Σ^{- 1} x = \frac{( p _{1}^{⊤} x ) ^{2}}{6} + \frac{( p _{2}^{⊤} x ) ^{2}}{1} = \frac{9/5}{6} + \frac{1/5}{1} = 0.3 + 0.2 = 0.5

$x^{⊤} Σ^{- 1} x = 1$ の等高線は楕円で、軸は固有ベクトルの向き、半径は $6 \approx 2.45$ と1

21: 名無しさん

2×2の固有値は特性方程式、楕円の軸は固有ベクトル、分散が負になるかは固有値の符号、って整理しとく

管理人のひとこと

$Σ$ の二次形式 $a^{⊤} Σ a$ は線形結合 $a^{⊤} X$ の分散。例： $Σ = (5222)$ 、 $a = (1, 1)^{⊤}$ なら11。
固有値は $λ^{2} - 7 λ + 6 = 0$ から6と1。長さ1の $a$ での分散の最大が6（向き $(2, 1) / 5$ ）、最小が1。トレース7＝6＋1、行列式6＝6×1。
正定値 ⇔ 固有値がすべて正 ⇔ どの線形結合の分散も正。全ペアの相関 $- 0.6$ の3変数は固有値 $- 0.2$ を持ち、 $V [X_{1} + X_{2} + X_{3}] = - 0.6$ でありえない。
$Σ^{- 1}$ の固有値は $1/ λ$ 。 $x^{⊤} Σ^{- 1} x = 1$ は固有ベクトルを軸にした楕円になる。

【疑問】分散共分散行列の固有値って何を表してるん？正定値ってどういう意味【統計検定1級】

管理人のひとこと

関連スレ