【疑問】フィッシャーの線形判別って、なんで共分散行列の逆行列が出てくるん？マハラノビス距離と誤判別率【統計検定1級】

2群の線形判別関数を導いて、誤判別率を求めよ、って問題
主成分分析みたいに分散最大の方向をとればええんちゃうの

前提のおさらいを2つ
2変量正規は平均ベクトルと共分散行列で決まる。等高線は楕円
主成分分析は $a^{\top }\Sigma a$ を $\Vert a\Vert =1$ で最大にする固有値問題

＞＞1
判別では、全体の分散じゃなくて「群の差が、群内のばらつきに比べてどれだけ大きいか」を最大にする

$\Sigma$ は群に共通の共分散行列。コーシー・シュワルツの不等式で最大点が出る

数字で。${\mu }_1=(2,3)$、${\mu }_2=(0,1)$、$\Sigma$ は分散1、相関0.5
${\Sigma }^{-1}(2,2{)}^{\top }=\frac{1}{0.75}(2-1,-1+2)\approx (1.333,1.333)$
中点 $(1,2)$ を基準に、$a^{\top }(x-(1,2))>0$ なら群1。$x=(2,1.5)$ なら $1.333\times (1-0.5)\approx 0.667>0$ で群1

＞＞3
この比の最大値は、平均の差をマハラノビス距離で測ったもの
${\Delta }^2=({\mu }_1-{\mu }_2{)}^{\top }{\Sigma }^{-1}({\mu }_1-{\mu }_2)=(2,2)\cdot (1.333,1.333)\approx 5.333$、$\Delta \approx 2.309$

＞＞5
普通の距離で測ったら $\Vert (2,2)\Vert \approx 2.83$ やのに、マハラノビス距離だと2.31で近くなるのはなんで

＞＞6
相関0.5で、楕円が $(1,1)$ の方向に長い。平均の差 $(2,2)$ はちょうどばらつきやすい方向やから、見た目ほど離れてない
同じ長さでも $(2,-2)$ の差なら、マハラノビス距離の2乗は16で $\Delta =4$。ばらつきにくい方向の差は、ずっと見分けやすい

＞＞3
共分散行列が群で違ったらどうするん

＞＞8
正規で共分散が違うなら、尤度の比をとると $x$ の2次式になる（2次判別）。共通と仮定できるときだけ、境界が直線になる

＞＞9
正規を仮定せんでも、ロジスティック回帰で2群の境界を直接推定すればええやん

＞＞10
それもあり。正規で共分散が共通なら、事後確率の対数オッズは $x$ の1次式になるから、ロジスティック回帰と同じ形
正規が正しければ判別分析のほうが少ないデータで精度が出る。正規から外れるならロジスティックのほうが崩れにくい

群間の差を群内のばらつきで割って最大化、$a\propto {\Sigma }^{-1}({\mu }_1-{\mu }_2)$、マハラノビス距離 $\Delta$ で誤判別率 $\Phi (-\Delta /2)$。これで導けるな