【疑問】多重共線性って何がまずいん？VIFが10を超えたらあかんってほんま？【統計検定1級】

12レスカテゴリ：統計・確率

1: 名無しさん

説明変数どうしの相関が強いとき、回帰係数がどうなるかをVIFで説明せよ、って問題

2: 名無しさん

前提のおさらい。重回帰で $V [\hat{β}] = σ^{2} (X^{⊤} X)^{- 1}$ 。列がほぼ1次従属だと $(X^{⊤} X)^{- 1}$ の成分が大きくなる

3: 名無しさん

＞＞1
$j$ 番目の係数の分散は、ほかの説明変数で $x_{j}$ を回帰したときの決定係数 $R_{j}^{2}$ を使って

V [\hat{β}_{j}] = \frac{σ ^{2}}{S _{j j} ( 1 - R _{j}^{2} )}, VIF_{j} = \frac{1}{1 - R _{j}^{2}}

$S_{j j} = \sum (x_{ij} - \overset{x}{ˉ}_{j})^{2}$ 。VIFは、ほかの変数と無相関だった場合に比べて分散が何倍になるか

4: 名無しさん

＞＞3
説明変数が2つなら $R_{j}^{2}$ は相関係数の2乗
相関0.9でVIF約5.3、0.95で約10.3、0.99で約50

5: 名無しさん

数字で。 $x_{1} = 1, 2, 3, 4, 5, 6$ 、 $x_{2} = 1.1, 1.9, 3.2, 3.9, 5.1, 6.0$ （相関0.998、VIF約239）
$y = 2.3, 3.8, 6.4, 7.7, 10.3, 11.9$ で重回帰すると、係数は $- 0.40$ と $2.38$ 、標準誤差はどちらも約0.30
3番目の $y$ を0.5だけ変えると、係数は $- 1.54$ と $3.51$ に飛ぶ。でも和はどちらも約2.0

6: 名無しさん

＞＞5
和が安定してるのは、 $x_{1}$ と $x_{2}$ がほぼ同じ方向やから。「2つ合わせた効果」は分かるけど、どっちの効果かは分けられない

7: 名無しさん

＞＞6
それなら予測もだめになるん？

8: 名無しさん

＞＞7
データと同じように $x_{1} \approx x_{2}$ が成り立つ点の予測なら、あまり困らない。困るのは、係数の解釈と、 $x_{1}$ と $x_{2}$ がずれた点での予測

9: 名無しさん

＞＞3
VIFが10を超えたら変数を落とす、って決めておけば済む話やろ

10: 名無しさん

＞＞9
目安としては使われるけど、機械的に落とすのは危ない。落とした変数の効果が残った変数に乗って、係数の意味が変わる
この例で $x_{2}$ を落とすと $x_{1}$ の係数は約1.97。 $x_{1}$ 単独の効果じゃなくて、2つ合わせた効果を背負ってる

11: 名無しさん

＞＞10
対処は目的で選ぶ。解釈したいなら、変数をまとめる（和や主成分にする）かデータを足す。予測が目的なら、リッジ回帰で係数を縮めて安定させる手もある

12: 名無しさん

分散は $σ^{2} / (S_{j j} (1 - R_{j}^{2}))$ 、VIFはその倍率、和は安定でも個々は飛ぶ、落とすと意味が変わる。これで説明できるな

管理人のひとこと

$V [\hat{β}_{j}] = σ^{2} / (S_{j j} (1 - R_{j}^{2}))$ 、 $VIF_{j} = 1/ (1 - R_{j}^{2})$ 。2変数なら相関0.9で約5.3、0.95で約10.3。
例（相関0.998、VIF約239）： $y$ を1つ0.5変えると係数が $(- 0.40, 2.38)$ から $(- 1.54, 3.51)$ に動くが、和は約2.0で安定。
落とすと残った係数が両方の効果を背負う（例で1.97）。解釈が目的ならまとめるかデータを足す、予測ならリッジも選択肢。

【疑問】多重共線性って何がまずいん？VIFが10を超えたらあかんってほんま？【統計検定1級】

管理人のひとこと

関連スレ