【疑問】AIの説明に毎回出てくる「ベクトルの内積」って、結局何を測ってるん？【AI】

AIの解説を読むと、だいたい「ベクトルの内積を計算する」って出てくる
掛けて足すだけの計算で、何がわかるんや

＞＞1
ベクトルは数の並び。$\mathbf{a}=(2,1)$、$\mathbf{b}=(1,3)$ なら、内積は成分どうしを掛けて足したもの

＞＞2
その5に意味はあるん？

＞＞3
図形で見ると、長さと向きのそろい具合の掛け算になってる

$\Vert \mathbf{a}\Vert =\sqrt{5}$、$\Vert \mathbf{b}\Vert =\sqrt{10}$ やから、$\cos \theta =5/\sqrt{50}\approx 0.707$ で、2本のなす角 $\theta$ は45度

＞＞4
マイナスになることもあるやろ

＞＞5
ある。符号で向きの関係がわかる
正なら同じ側（90度より小さい）、0なら直角、負なら反対側
$(1,0)\cdot (0,1)=0$、$(1,0)\cdot (-1,1)=-1$

向きを見たいなら $\cos \theta$ だけでええやん
長さが混ざる内積をわざわざ使う意味ある？

＞＞7
長さを1にそろえたベクトル同士なら、内積がそのまま $\cos \theta$（コサイン類似度）になる。長さを残すかどうかは、使う場面で選んでる
Attention のように、長さも含めた内積をそのまま使う計算もある

＞＞8
長さが残ると何か困るん

＞＞9
長いベクトルが有利になる。質問を $\mathbf{q}=(1,1)$、文書を ${\mathbf{d}}_1=(1,1)$、${\mathbf{d}}_2=(3,0)$ とすると
内積は $\mathbf{q}\cdot {\mathbf{d}}_1=2$、$\mathbf{q}\cdot {\mathbf{d}}_2=3$ で ${\mathbf{d}}_2$ が勝つ
向きだけ見ると、${\mathbf{d}}_1$ は $\cos \theta =1$（同じ向き）、${\mathbf{d}}_2$ は約0.707 で、順位が逆になる

ニューラルネットの中では、内積はどこで出てくるん

＞＞11
いちばん基本のところ。1個のニューロンは、重みベクトル $\mathbf{w}$ と入力 $\mathbf{x}$ の内積にバイアス $b$ を足してる

$\mathbf{w}=(0.5,-1,2)$、$\mathbf{x}=(1,2,0.5)$、$b=0.1$ なら、$0.5-2+1+0.1=-0.4$

＞＞12
層になると行列が出てくるやろ。あれは別物？

＞＞13
同じもの。行列とベクトルの掛け算は、行列の各行とベクトルの内積を並べたもの

1行目が1個目のニューロン、2行目が2個目のニューロン。層の計算は、内積をまとめてやってるだけ

実際のモデルやと、ベクトルは何次元くらいなん

＞＞15
BERT（Devlin ら、2018年）の基本モデルは768次元
内積1回で、768回の掛け算と767回の足し算をしてる

＞＞16
そんなに次元が多いと、たまたま似た向きになるベクトルも増えて、区別がつかんようになるんちゃうの

＞＞17
逆で、次元が多いほどランダムなベクトル同士はほぼ直角になる
成分を標準正規分布からランダムに選んだベクトルの組を2万組作って $|\cos \theta |$ の平均を計算したら、2次元で約0.63（理論値 $2/\pi \approx 0.637$）、768次元で約0.029
768次元で $|\cos \theta |>0.1$ になったのは約0.5%。高い次元で $\cos \theta$ が0.3もあれば、偶然ではまず出ない

長さ1のベクトルとの内積には、別の意味があるって聞いた

＞＞19
その向きの成分を取り出す計算になる（射影）
$\mathbf{e}=(1,0)$ なら $\mathbf{a}\cdot \mathbf{e}=2$ で、$\mathbf{a}=(2,1)$ の横方向の成分そのもの
モデルの中で「この向きの特徴がどれだけ入ってるか」を読み取る計算、と見ることもできる

＞＞20
統計の相関係数も、似た形やった気がする

＞＞21
そう。$x$ と $y$ からそれぞれ平均を引いたベクトルを作って、その2本の $\cos \theta$ を計算すると、相関係数そのものになる

内積は「長さ×向きのそろい具合」。ニューロンも層も、内積をまとめて計算してるだけなんやな