【疑問】主成分分析って、なんで相関行列の固有値と固有ベクトルで主成分が出るん？寄与率と特異値分解との関係も【統計検定1級】

11レスカテゴリ：統計・確率

1: 名無しさん

3変数の相関行列から主成分と寄与率を求めよ、って問題
固有値を出すのは分かるけど、なんでそれが「分散最大の方向」になるん

2: 名無しさん

前提のおさらいを2つ
対称行列 $A$ は直交行列で対角化できて、2次形式 $a^{⊤} A a$ を $∥ a ∥ = 1$ で最大にすると、最大の固有値になる（そのとき $a$ は対応する固有ベクトル）
相関係数は、標準化した変数どうしの共分散

3: 名無しさん

＞＞1
標準化した変数 $z$ の線形結合 $a^{⊤} z$ の分散は $a^{⊤} R a$ （ $R$ は相関行列）
$∥ a ∥ = 1$ でこれを最大にすると、ラグランジュの未定乗数法で $R a = λa$ 。最大値は最大の固有値

V [a_{1}^{⊤} z] = λ_{1}, 寄与率 = \frac{λ _{1}}{\sum λ _{j}} = \frac{λ _{1}}{p}

相関行列の固有値の和は対角成分の和で、変数の数 $p$ になる

4: 名無しさん

2変数で相関0.6なら、固有値は $1.6$ と $0.4$ 、固有ベクトルは $(1, 1) / 2$ と $(1, - 1) / 2$
第1主成分は2つの和の方向で、寄与率80%

5: 名無しさん

3変数で、相関が $r_{12} = 0.8, r_{13} = 0.5, r_{23} = 0.4$
固有値 $2.152, 0.657, 0.191$ 。寄与率は $71.7%, 21.9%, 6.4%$ 、第2主成分まで累積93.6%
第1主成分と各変数の相関（負荷量）は $λ_{1} a_{1}$ で $0.93, 0.89, 0.71$

6: 名無しさん

＞＞3
相関行列じゃなくて、共分散行列でやったらあかんの？

7: 名無しさん

＞＞6
単位がそろってるなら共分散行列でもいい。でも単位が違うと、分散の大きい変数（cmで測った身長など）が第1主成分を独り占めする
単位をmに変えるだけで結果が変わるなら、それは分析の結論じゃない。単位がばらばらなら相関行列

8: 名無しさん

＞＞3
計算は特異値分解（SVD）でもできる。中心化したデータ行列を $X = U D V^{⊤}$ （ $U, V$ の列は正規直交、 $D$ は対角で特異値 $d_{j} \geq 0$ ）と分けると
$X^{⊤} X = V D^{2} V^{⊤}$ やから、 $V$ の列が主成分の方向、 $d_{j}^{2} / (n - 1)$ が共分散行列の固有値
データ $(2, 1), (0, - 1), (- 2, - 1), (1, 2), (- 1, - 1)$ なら特異値 $4.009, 1.389$ で、 $d^{2} /4 = 4.018, 0.482$ が共分散行列の固有値と一致

9: 名無しさん

＞＞8
わざわざSVDを使う理由は、 $X^{⊤} X$ を作ると数値の誤差が2乗で効くから。ソフトの中身はたいていSVD

10: 名無しさん

＞＞5
第1主成分を「総合力」と名前をつけるのはよくあるけど、名前は分析する人の解釈。数字が言ってるのは「この重みの和がいちばんばらつく」だけ

11: 名無しさん

$a^{⊤} R a$ を最大にすると固有値問題、寄与率は $λ / p$ 、単位が違えば相関行列、計算はSVDで $d^{2} / (n - 1)$ 。これでまとまったな

管理人のひとこと

$V [a^{⊤} z] = a^{⊤} R a$ を $∥ a ∥ = 1$ で最大にすると $R a = λa$ 。第1主成分の分散は最大固有値、寄与率は $λ_{1} / p$ 。
例（ $r_{12} = 0.8$ 、 $r_{13} = 0.5$ 、 $r_{23} = 0.4$ ）：固有値2.152、0.657、0.191、寄与率71.7%、21.9%。2変数で相関0.6なら1.6と0.4。
単位が違うなら相関行列を使う。特異値分解 $X = U D V^{⊤}$ では $V$ の列が主成分の方向、 $d_{j}^{2} / (n - 1)$ が固有値。

【疑問】主成分分析って、なんで相関行列の固有値と固有ベクトルで主成分が出るん？寄与率と特異値分解との関係も【統計検定1級】

管理人のひとこと

関連スレ