【疑問】同じ距離1.41やのに「近い」と「遠い」に分かれた。ユークリッド距離・マハラノビス距離・コサイン類似度【G検定】

ユークリッド距離・マハラノビス距離・コサイン類似度、どれも「似てるか」を測るやつやろ？
なんで3つもあるん？

前提のおさらい。分散は平均からのばらつき、相関係数は2つの変数がどれくらいそろって動くかを −1〜1 で表したもの。マハラノビス距離はこの2つを使う

＞＞1
ユークリッド距離は、いわゆる「まっすぐ測った距離」

(1, 2) と (4, 6) なら $\sqrt{3^2+4^2}=5$

コサイン類似度は、2つのベクトルの向きがどれくらいそろってるか

同じ向きなら1、直角なら0、逆向きなら −1

＞＞4
ユークリッド距離が近ければ、コサイン類似度も高いんちゃうの？

＞＞5
そうとは限らん。文書の単語の出現回数で比べると分かる
文書A：(3, 0, 1)、文書B：Aを2回つなげた長い文書で (6, 0, 2)
コサイン類似度は1でまったく同じ向き。でもユークリッド距離は $\sqrt{9+0+1}\approx 3.16$ で離れてる
長さ（文書の量）を無視して中身の割合で比べたいときはコサイン類似度を使う

マハラノビス距離は、データのばらつきと相関を考えに入れた距離
1変数なら、平均からの差を標準偏差で割ったもの。身長が平均170cm・標準偏差6cmの集団で182cmの人は $(182-170)/6=2$ で、標準偏差2つ分離れてる

＞＞7
2変数で相関があるとどうなるん？

＞＞8
2つの変数をそれぞれ標準化してあって（平均0・分散1）、相関係数が0.8とする
点 (1, 1) と点 (1, −1) は、原点からのユークリッド距離がどっちも $\sqrt{2}\approx 1.41$

で計算すると、(1, 1) は約1.05、(1, −1) は約3.16
相関0.8なら「片方が大きいともう片方も大きい」のがふつう。(1, −1) はその流れに逆らってるから、遠い（めずらしい）と判定される

＞＞9
それで、異常検知でマハラノビス距離がよく使われるんか。ユークリッド距離だけやと、どっちも同じに見えてまう

＞＞10
ただ、マハラノビス距離は共分散行列の推定が前提やから、データが少なかったり変数が多すぎたりすると不安定になる。何でもこれがええ、というわけでもない