【疑問】決定係数0.96やのに「この直線はおかしい」って言われた。残差プロットって何を見るん？【統計検定2級】

$x=1,2,\dots ,6$ のデータに回帰直線を引いたら、決定係数 $R^2$ が0.96やった
当てはまりはばっちりやと思ったのに、残差プロットを見ろって言われた

＞＞1
おさらい。回帰直線の予測値を ${\hat{y}}_i$ として、残差は実際の値との差

残差プロットは、横軸に $x$（か予測値 $\hat{y}$）、縦軸に残差をとった散布図

＞＞1
データ見せて

＞＞3
$y$ は 1, 4, 9, 16, 25, 36（$y=x^2$）。最小二乗法で直線を引くと $\hat{y}=-9.33+7x$
残差は順に

＞＞4
両端がプラスで真ん中がマイナス。U字になってるな

＞＞5
それが「直線では曲がりを表せてない」というサイン
うまく当てはまってたら、残差は0のまわりに、決まった形のないばらばらな散らばり方をするはず

＞＞6
でも $R^2=0.96$ やで。ほとんど説明できてるやん

＞＞7
$R^2$ は「ばらつきのうち何割を直線で説明できたか」で、形が合ってるかは教えてくれない
ゆるく曲がってても、全体として右上がりなら $R^2$ は高く出る。この直線で $x=10$ を予測すると $-9.33+70\approx 60.7$ で、本当の100から大きく外れる

残差を全部足すと0になったんやけど、たまたま？

＞＞9
たまたまじゃない。切片のある最小二乗法なら、残差の合計は必ず0で、残差と $x$ の相関も必ず0になる

だから「残差の平均が0か」を見ても意味がない。見るのは並び方の形

＞＞10
形って、U字以外にどんなのがあるん

＞＞11
よく出るのはラッパ型。$x$ が大きいほど、残差の散らばりが広がる形
売上のように、大きい値ほどぶれも大きいデータでよく出る。誤差の分散が一定、という前提が崩れてるサイン

＞＞12
それが崩れると何が困るん

＞＞13
直線そのものは引けるけど、傾きの標準誤差や信頼区間、検定のp値が正しくなくなる
$y$ の対数をとってからやり直すと、ラッパがおさまることが多い

1個だけ残差がやたら大きい点があったら？

＞＞15
残差を標準偏差で割った標準化残差で見る。目安として絶対値が2や3を超えたら、入力ミスや特殊な事情がないか確かめる
すぐ消すんじゃなくて、まず理由を調べる。理由が分からなければ、その点ありとなしで結果がどう変わるかを両方見る

＞＞16
逆に、残差が小さい点は気にせんでええの？

＞＞17
そうとも限らん。$x$ が他から大きく離れた点は、直線を自分のほうに引っ張るから、残差は小さく出やすい
残差だけ見てると見落とす。$x$ の離れ具合もいっしょに見る

＞＞4
U字のときはどう直すん

＞＞19
$x^2$ の項を足して2次式で当てはめるか、変数を変換する
このデータなら $\hat{y}=x^2$ で残差は全部0。残差プロットは、次に何を試すかを教えてくれる

＞＞8
$R^2$ みたいな数字1個の要約だけやと、形の違いは見えんのやな