【疑問】最小二乗法と最尤法、どっちも「一番合うパラメータを選ぶ」やつやろ？何が違うん【G検定】

最小二乗法と最尤法、どっちも「データに一番合うパラメータの決め方」って説明されてて区別がつかん

前提のおさらい。共分散は2つの変数の「平均からの差」を掛けて平均したもの、分散は1つの変数の差の2乗の平均。直線の傾きは、この2つで決まる

＞＞1
最小二乗法は、予測と実際の差（残差）の2乗の合計が一番小さくなる直線を選ぶ
3点 (1, 2), (2, 3), (3, 5) に直線 $y=a+bx$ を引くと

残差は 0.17, −0.33, 0.17 で、2乗の合計は約0.17。どう直線を動かしても、これより小さくはならん

＞＞3
なんで2乗するん？差の絶対値を足したらあかんの？

＞＞4
あかんことはない。絶対値の合計を小さくするやり方もあって、外れ値に引っぱられにくい
2乗のほうは微分して0とおくだけで式が解けるから、昔から使われてきた。そのかわり、大きな残差を強く嫌うから外れ値に弱い

最尤法は考え方の出発点が違う
「このパラメータやったら、今のデータが出てくる確率（尤度）はどれくらいか」を計算して、尤度が一番大きくなるパラメータを選ぶ

＞＞6
コインで例を出す。10回投げて表が7回。表の確率を $p$ とすると尤度は

$p=0.5$ なら $L\approx 0.00098$、$p=0.6$ なら $\approx 0.0018$、$p=0.7$ なら $\approx 0.0022$、$p=0.8$ なら $\approx 0.0017$
$p=0.7$ で一番大きくなる。これが最尤推定値で、表の割合7/10と一致する

＞＞7
掛け算が続くと数字が小さくなりすぎるから、実際は対数をとった対数尤度を最大にする
掛け算が足し算になって計算しやすいし、最大になる $p$ は変わらん

＞＞6
結局、別の方法ってことでええの？

＞＞9
つながってる。残差が正規分布に従うと仮定して最尤法で直線を決めると、最小二乗法と同じ答えになる
正規分布の尤度には「残差の2乗の合計」がマイナスつきで入ってるから、尤度を最大にすることと、2乗の合計を最小にすることが同じになる

＞＞10
ニューラルネットワークの誤差関数も同じ見方ができる。平均二乗誤差を小さくするのは正規分布の最尤法、分類で使う交差エントロピーを小さくするのはカテゴリの分布の最尤法、と読める