【疑問】重回帰にしたら広告費の係数が1.36から0.36に減った。どっちが本当の効果なん？【統計検定準1級】

6店舗のデータで、売上を広告費だけで回帰したら傾きが1.36やった
店舗の広さも足して重回帰にしたら、広告費の係数が0.36に下がった。どっちが本当の広告の効果なんや

＞＞1
おさらい。重回帰は説明する変数を2つ以上入れた回帰で、残差の2乗和を最小にするのは単回帰と同じ

データは広告費 $x_1$ が 1〜6、広さ $x_2$ が 2, 3, 3, 5, 6, 6、売上 $y$ が 3.4, 5.1, 5.4, 8.1, 9.4, 9.8 やとする

＞＞2
計算するとどうなる

＞＞3
最小二乗で解くと

広告費だけの単回帰は $y\approx 2.11+1.36x_1$

＞＞4
なんでそんなに変わるんや

＞＞5
このデータでは広告費と広さの相関係数が約0.96で、広告費が多い店ほど広い
単回帰の1.36には、「広告費が多い店は広くて、広いから売れる」分まで入ってる。重回帰の0.36は「広さが同じ店どうしで比べて、広告費が1増えたら売上がいくら増えるか」（偏回帰係数）

＞＞6
じゃあ重回帰の0.36が本当の効果ってことでええな

＞＞7
「広さをそろえたときの関係」という意味では0.36。でも本当の効果かどうかは、ほかに入れ忘れた変数がないか、広さが広告費の結果になってないか（広告で客が増えて店を広げた、とか）にもよる
係数の意味は、どの変数を一緒に入れたかで変わる。式だけでは決まらん

当てはまりは良くなってるん？

＞＞9
決定係数 $R^2$ は、単回帰で約0.957、重回帰で約0.999
ただ $R^2$ は変数を足せば必ず上がる（下がらない）から、そのまま比べるのは不公平

＞＞10
じゃあどう比べるん

＞＞11
自由度で調整した決定係数を使う。変数の数を $p$ として

単回帰で約0.946、重回帰で約0.998。役に立たん変数を足すと、こっちは下がることがある

＞＞12
広告費と広さの相関が0.96もあると、何か困らんの？

＞＞13
困る。説明する変数どうしの相関が強すぎると（多重共線性）、どっちの変数の効果かを分けにくくなって、係数がデータの少しの違いで大きく変わる
目安の VIF は $1/(1-r^2)$ で、ここでは $1/(1-0.96^2)\approx 13$。10を超えると要注意と言われることが多い
6店舗しかないのに相関0.96やと、0.36と1.13という分け方自体があまり当てにならん

＞＞14
じゃあ広さは外して、単回帰で済ませたほうがええんちゃう

＞＞15
外すと、＞＞6で言ったように広さの分まで広告費の係数に入ってしまう
知りたいのが「広告費を増やしたら売上がどうなるか」なら、広さをそろえて比べる必要がある。外すより、広さの違う店のデータを集めるほうが筋

残差の自由度は？

＞＞17
切片と係数2つで3個を推定してるから $n-3$。6店舗なら3
一般には $n-p-1$。データ6個に変数をたくさん入れると、自由度がすぐなくなる

単回帰の係数にはほかの変数の分も入る、重回帰の係数は「ほかをそろえたとき」。$R^2$ は変数を足すと上がるから調整済みで比べる。説明する変数どうしの相関が強いと係数はぶれる。1.36も0.36も、意味が違うんやな