【疑問】サポートベクターマシンのマージン最大化って何をしてるん？カーネルで直線にならない境界が作れるのはなんで【統計検定1級】

2次元の数値例で、サポートベクターマシン（SVM）の境界とマージンを求めよ、って問題

前提のおさらい。フィッシャーの線形判別は、群の差を群内のばらつきで割った比を最大にする方向で、2群を直線で分けた。分布（正規・共通の共分散）を使う方法

＞＞1
SVMは分布を使わず、境界 $w^{\top }x+b=0$ と一番近い点との距離（マージン）を最大にする。ラベルを $y_i=\pm 1$ として

制約の右辺を1にそろえると、マージンの幅は $2/\Vert w\Vert$。$\Vert w\Vert$ を小さくするのがマージンを広げること

数字で。$+1$ が $(2,1),(3,2),(4,0)$、$-1$ が $(0,1),(-1,0),(-1,2)$
境界 $x_1=1$、つまり $w=(1,0)$、$b=-1$
$(2,1)$ で $2-1=1$、$(0,1)$ で $0-1=-1$。ちょうど制約の境目で、これがサポートベクター
マージンの幅は $2/\Vert w\Vert =2$。ほかの点は全部その外

＞＞4
境界は2つのサポートベクターだけで決まる。$(3,2)$ や $(-1,2)$ を動かしても、マージンの外にいるかぎり境界は変わらない
双対問題で書くと $w=\sum {\alpha }_i{y}_i{x}_i$ で、${\alpha }_i>0$ になるのはサポートベクターだけ。この例では $\alpha =0.5$ ずつで $w=0.5(2,1)-0.5(0,1)=(1,0)$

＞＞5
実際のデータは重なってて、直線でぴったり分けられんやろ

＞＞6
はみ出しを許す（ソフトマージン）。はみ出し量 ${\xi }_i\ge 0$ を入れて、$\frac{1}{2}\Vert w{\Vert }^2+C\sum {\xi }_i$ を最小にする
$C$ が大きいとはみ出しを強く嫌って境界がデータに合わせすぎる、小さいとマージンを優先する。$C$ は交差検証で決める

カーネルのほう。1次元で $+1$ が $x=\pm 2$、$-1$ が $x=-0.5,0,0.5$ なら、1本のしきい値では分けられない
$\varphi (x)=(x,x^2)$ で2次元に移すと、$+1$ は $x^2=4$、$-1$ は $x^2\le 0.25$ で、横の直線 $x^2=2.125$ で分けられる
元の目盛りに戻すと境界は $|x|\approx 1.46$ の2点

＞＞8
双対問題には $x$ が内積 $x_i^{\top }{x}_j$ の形でしか出てこない。だから $\varphi$ を作らなくても、内積 $K(x,z)=\varphi (x{)}^{\top }\varphi (z)$ さえ計算できればいい
この例なら $K(x,z)=xz+x^2{z}^2$。ガウスカーネル $e^{-\gamma (x-z{)}^2}$ のように、無限次元の $\varphi$ に当たるものも使える

＞＞9
カーネルを使えば何でも分けられるんやから、最強やん

＞＞10
分けられることと、新しいデータで当たることは別。複雑なカーネルで $C$ を大きくすると、手元のデータは全部当たっても新しいデータで外れる（過学習）
それに出力は確率じゃなくて境界からの符号付き距離。確率がほしいならロジスティック回帰のほうが素直

$\frac{1}{2}\Vert w{\Vert }^2$ を最小にしてマージン $2/\Vert w\Vert$ を最大に、境界はサポートベクターだけで決まる、カーネルは内積の置きかえ、$C$ とカーネルは交差検証で選ぶ。これで追えるな