【疑問】回帰診断のてこ比・スチューデント化残差・クックの距離、何を見てるん？残差が小さい点が一番危ないってほんま？【統計検定1級】

12レスカテゴリ：統計・確率

1: 名無しさん

単回帰で影響の大きい点を見つけよ、てこ比とクックの距離を計算して、って問題

2: 名無しさん

前提のおさらい。残差 $e = (I - H) y$ 、 $H = X (X^{⊤} X)^{- 1} X^{⊤}$ 、 $V [e_{i}] = σ^{2} (1 - h_{ii})$ 。単回帰なら $h_{ii} = \frac{1}{n} + \frac{( x _{i} - x ˉ ) ^{2}}{S _{xx}}$

3: 名無しさん

＞＞1
3つは見てるものが違う
てこ比 $h_{ii}$ ： $x$ が離れていて、その点が自分の予測値を引っぱる力。 $\sum h_{ii} = p$ で、目安は $2 p / n$ を超えたら注意
スチューデント化残差 $r_{i} = \frac{e _{i}}{s 1 - h _{ii}}$ ：残差を、その点の残差の標準偏差で割ったもの

D_{i} = \frac{r _{i}^{2}}{p} \cdot \frac{h _{ii}}{1 - h _{ii}}

4: 名無しさん

＞＞3
クックの距離 $D_{i}$ は、その点を除いたときに予測値全体がどれだけ動くか。残差の大きさとてこ比の掛け算になってる

5: 名無しさん

数字で。 $x = 1, 2, 3, 4, 10$ 、 $y = 2, 4, 5, 4, 12$
直線 $\overset{y}{^} = 1.16 + 1.06 x$ 。残差 $- 0.22, 0.72, 0.66, - 1.40, 0.24$
てこ比 $0.38, 0.28, 0.22, 0.20, 0.92$ 。目安 $2 p / n = 0.8$ を5点目が超える
クックの距離 $0.02, 0.14, 0.08, 0.30, 4.11$

6: 名無しさん

＞＞5
5点目は残差0.24でほぼ線の上やん。いちばん外れてるのは残差 $- 1.40$ の4点目やろ

7: 名無しさん

＞＞6
残差が小さいのは、5点目が直線を自分のほうに引き寄せてるから。てこ比0.92は、予測値の92%が自分の $y$ で決まる、という意味
5点目を除いて当てはめ直すと、傾きは1.06から0.70に下がる。4点目を除いても傾きは1.06のまま

8: 名無しさん

＞＞7
残差だけ見てたら見落とすわけか。スチューデント化残差でも5点目は0.85で、目立たない

9: 名無しさん

＞＞1
影響が大きいと分かったら、その点は消せばええの？

10: 名無しさん

＞＞9
消す前に、記録の誤りか、本当にそういう値かを確かめる。本物なら、 $x$ の広い範囲で直線が成り立つかという、モデルの問題になる
除いた結果と含めた結果を両方示して、結論がその1点に頼っていることを書くのが誠実

11: 名無しさん

＞＞10
外れ値の検定をするなら、その点を除いて計算した $s$ を使う外部スチューデント化残差のほうが、自分の影響を受けなくていい

12: 名無しさん

てこ比は $x$ の離れ方、スチューデント化残差は残差の標準化、クックの距離は両方の掛け算。残差が小さい点も、てこ比が大きければ疑う。これで見つけられるな

管理人のひとこと

てこ比 $h_{ii}$ （ $\sum h_{ii} = p$ 、目安 $2 p / n$ ）、スチューデント化残差 $e_{i} / (s 1 - h_{ii})$ 、クックの距離 $D_{i} = \frac{r _{i}^{2}}{p} \frac{h _{ii}}{1 - h _{ii}}$ 。
例（ $x = 1, 2, 3, 4, 10$ ）：5点目はてこ比0.92、残差0.24と小さいがクックの距離4.11。除くと傾きが1.06から0.70に変わる。
残差だけでは影響の大きい点を見落とす。消す前に原因を確かめ、含めた結果と除いた結果を両方示す。

【疑問】回帰診断のてこ比・スチューデント化残差・クックの距離、何を見てるん？残差が小さい点が一番危ないってほんま？【統計検定1級】

管理人のひとこと

関連スレ