【疑問】回帰直線って、点の真ん中に線を引いてるだけやろ？最小二乗法って何を最小にしてるん【統計検定2級】

回帰直線って、散布図の点の真ん中あたりに線を引いてるだけやろ
最小二乗法って名前は聞くけど、何を最小にしてるんや

＞＞1
直線 $y=a+bx$ を引いたとき、実際の $y$ と直線の上の値の差（残差）を2乗して足したものを最小にする

これを最小にする $a$ と $b$ を選ぶのが最小二乗法

＞＞2
で、$a$ と $b$ はどう出すん

＞＞3
微分して0とおくと、傾きは共分散を $x$ の分散で割ったもの、切片は直線が平均の点を通るように決まる

数字でやってくれ

＞＞5
広告費 $x$ が 1, 2, 3, 4, 5（万円）、売上 $y$ が 3, 5, 6, 8, 9（十万円）とする。平均は3と6.2
偏差の積の和は15、$x$ の偏差の2乗和は10やから $b=15/10=1.5$
$a=6.2-1.5\times 3=1.7$ で、直線は $y=1.7+1.5x$

＞＞6
残差は？

＞＞7
直線の値は 3.2, 4.7, 6.2, 7.7, 9.2 で、残差は $-0.2,0.3,-0.2,0.3,-0.2$
足すとちょうど0になる。切片が入った最小二乗の直線なら、いつもそうなる
残差の2乗和は0.30

＞＞8
2乗やなくて、差の絶対値の和を最小にしたらあかんの？そっちのほうが自然な気がする

＞＞9
それもある（最小絶対偏差法）。外れ値には強くなる
ただ2乗のほうは微分で式がきれいに解けて、平均や分散の理論とそのままつながる。平均がずれの2乗の和を、中央値が絶対値の和を最小にするのと同じ関係

直線がどれくらい当てはまってるかは？

＞＞11
決定係数 $R^2$。$y$ の偏差の2乗和のうち、残差で残った分を引いた割合

$y$ の偏差の2乗和は22.8。単回帰では、相関係数の2乗と同じ値になる

＞＞12
じゃあ広告費を20万円にしたら、売上は $1.7+1.5\times 20=31.7$ で予測できるな

＞＞13
それは危ない。データは1〜5万円の範囲しかない
範囲の外で直線がそのまま続く保証はない（外挿）。広告費を増やすと効き目が鈍ることはよくある
直線が使えるのは、基本はデータのある範囲の中

$y$ から $x$ を予測したいときは、$y=1.7+1.5x$ を $x$ について解けばええ？

＞＞15
ならない。$x$ を $y$ で回帰すると、傾きは $15/22.8\approx 0.658$
$y=1.7+1.5x$ を解いたときの傾き $1/1.5\approx 0.667$ とずれる。どっちのずれを最小にするかが違うから、直線も2本ある

「平均への回帰」ってのも、この回帰と関係あるん

＞＞17
ある。標準化した2つのテストの点数で相関係数が0.5なら、1回目で $z=2$ だった人の2回目の予測は $0.5\times 2=1$
上のほうにいた人は、2回目は平均に近づいて見える。何もしてないのに起きる

＞＞18
いや、それは1回目が良かった人が油断しただけちゃうの

＞＞19
そういう人もおるかもしれんけど、油断がなくても相関が1でなければ必ず起きる
1回目の高得点には運の分も含まれてて、2回目はその運が平均的になるだけ。成績の悪かった人に何か指導して「上がった」と言うときは、この効果を差し引かんと効き目を大きく見積もる

残差の2乗和を最小にして、$b=s_{xy}/s_x^2$、$a=\bar{y}-b\bar{x}$。$R^2$ で当てはまりを見る、範囲の外は予測せん、$x$ と $y$ を入れ替えたら別の直線、平均への回帰に気をつける。線を引くだけやなかった