【疑問】多変量正規の等高線が楕円になって、軸が固有ベクトルの向きになるのはなんで？主成分をラグランジュで導きたい【統計検定1級】

$\Sigma =\left(\begin{array}{cc}4& 2\\ 2& 3\end{array}\right)$ の2変量正規について、等高線の軸の向きと長さを求め、第1主成分がその長軸になることを示せ、って問題

前提のおさらいを2つ
$V[a^{\top }X]=a^{\top }\Sigma a$（$A\Sigma A^{\top }$ で $A$ が1行のとき）
主成分分析では、主成分の分散が分散共分散行列（または相関行列）の固有値になる

＞＞1
密度は $\exp \{-\frac{1}{2}(x-\mu {)}^{\top }{\Sigma }^{-1}(x-\mu )\}$ に比例するから、等高線は

$\Sigma ={\lambda }_1{e}_1{e}_1^{\top }+{\lambda }_2{e}_2{e}_2^{\top }$ と固有分解すると、$e_j$ 方向の座標を $z_j$ として $z_1^2/{\lambda }_1+z_2^2/{\lambda }_2=c$。軸は固有ベクトルの向きで、半径は $\sqrt{c{\lambda }_j}$

数字で。固有値は ${\lambda }^2-7\lambda +8=0$ から $\lambda =(7\pm \sqrt{17})/2$
${\lambda }_1\approx 5.56$、${\lambda }_2\approx 1.44$。長軸の向きは $(0.788,0.615)$ で、傾き約0.78
95%の楕円は $c=5.99$ で、半径は $\sqrt{5.99\times 5.56}\approx 5.77$ と $\sqrt{5.99\times 1.44}\approx 2.94$

＞＞4
5.99 はどこから来たん

＞＞5
$Z={\Sigma }^{-1/2}(X-\mu )$ は $N(0,I)$ で、$(X-\mu {)}^{\top }{\Sigma }^{-1}(X-\mu )=Z_1^2+Z_2^2$ は自由度2のカイ二乗分布。その上側5%点が5.99
この2次形式がマハラノビス距離の2乗。判別分析で出てきた ${\Delta }^2$ と同じもの

ラグランジュで主成分を出す。$a^{\top }a=1$ のもとで $V[a^{\top }X]=a^{\top }\Sigma a$ を最大にする
$L=a^{\top }\Sigma a-\lambda (a^{\top }a-1)$ を $a$ で微分して0とおくと

そのとき $a^{\top }\Sigma a=\lambda a^{\top }a=\lambda$ やから、一番大きい固有値 5.56 の固有ベクトルを選ぶ。全体の分散 $4+3=7$ のうち約79.5%

＞＞7
第2主成分は、$a^{\top }a=1$ に加えて第1主成分と直交（$a^{\top }{e}_1=0$）を条件にすると、同じ計算で次の固有値 1.44 の固有ベクトルが出る

＞＞4
楕円の長軸って、要するに回帰直線のことやろ

＞＞9
違う。$X_1$ から $X_2$ を予測する回帰の傾きは $\mathrm{Cov}/V[X_1]=2/4=0.5$。$X_2$ から $X_1$ を予測する回帰を同じ図に描くと傾き $3/2=1.5$
長軸の傾き0.78はその間に入る。回帰は片方の縦のずれを小さくする直線で、主成分は点から直線までの垂直の距離を小さくする直線

＞＞10
相関が1に近いほど3本は重なっていく。相関が0やと回帰は横と縦になって、長軸は分散の大きい変数の軸になる

等高線は $(x-\mu {)}^{\top }{\Sigma }^{-1}(x-\mu )=c$、軸は固有ベクトル、半径は $\sqrt{c\lambda }$、95%なら $c=5.99$、ラグランジュで $\Sigma a=\lambda a$ が出て主成分になる。これで導けるな