【疑問】Lassoはなんで係数がちょうど0になるん？リッジ回帰とは何が違うん【統計検定1級】

12レスカテゴリ：統計・確率

1: 名無しさん

L1正則化（Lasso）とL2正則化（リッジ）の違いを、係数が0になる理由とあわせて説明せよ、って問題

2: 名無しさん

前提のおさらい。変数選択は、AICやBICのように「当てはまり＋罰」で候補のモデルを比べる。候補を1つずつ調べるのは、変数が多いと大変

3: 名無しさん

＞＞1
どっちも残差平方和に罰を足して最小にする

Lasso: ∥ y - X β ∥^{2} + λ j \sum ∣ β_{j} ∣, リッジ : ∥ y - X β ∥^{2} + λ j \sum β_{j}^{2}

罰が絶対値か2乗か、の違いだけ

4: 名無しさん

＞＞3
説明変数が直交して標準化されてる（ $X^{⊤} X = I$ ）場合は、係数ごとに別々に解ける。最小二乗の値を $b_{j}$ とすると
リッジ： $β_{j} = b_{j} / (1 + λ)$ 。全部を同じ割合で縮める
Lasso： $β_{j} = sign (b_{j}) (∣ b_{j} ∣ - λ /2)_{+}$ 。 $λ /2$ だけ0に寄せて、届いたら0で止める

5: 名無しさん

数字で。 $b = (3.0, 0.8, - 0.3)$
Lasso（ $λ = 2$ ）： $(2.0, 0, 0)$ 。小さい2つがちょうど0
リッジ（ $λ = 1$ ）： $(1.5, 0.4, - 0.15)$ 。全部半分になるだけで、0にはならない

6: 名無しさん

＞＞4
なんで絶対値やと0で止まるん

7: 名無しさん

＞＞6
1つの係数で、 $(b - β)^{2} + λ ∣ β ∣$ を最小にする。 $β > 0$ の側の傾きは $- 2 (b - β) + λ$
$β$ を0から少し動かすと、罰が傾き $λ$ で必ず増える。当てはまりで得する分（ $2∣ b ∣$ ）がそれより小さい、つまり $∣ b ∣ \leq λ /2$ なら、0から動かないのが最小
2乗の罰は0の近くで傾きが0やから、少しでも $b \neq = 0$ なら0から動いてしまう

8: 名無しさん

＞＞7
図で言うと、Lassoの制約 $\sum ∣ β_{j} ∣ \leq t$ はひし形で角が軸の上にある。残差平方和の等高線は角に当たりやすいから、どれかの係数が0の点で接する。リッジの円には角がない

9: 名無しさん

＞＞5
係数を0にしてくれるなら、Lassoで残った変数が「本当に効いてる変数」やな

10: 名無しさん

＞＞9
そうとは限らない。相関の強い変数が2つあると、Lassoはどちらか1つを残してもう片方を0にしがちで、どっちが残るかはデータの揺れで変わる
それに残った係数は縮められてるから、大きさは過小。選んだあとの検定も、選ぶ過程を考えないと甘くなる

11: 名無しさん

＞＞10
相関の強い変数をまとめて扱いたいなら、L1とL2を混ぜたエラスティックネットがある。 $λ$ は交差検証で決める。変数は先に標準化しておかないと、単位で罰の効き方が変わる

12: 名無しさん

罰が絶対値か2乗か、直交なら軟しきい値と一律の縮小、0で止まるのは罰の傾きが0で消えないから、残った変数を真の変数と読まない。これで説明できるな

管理人のひとこと

Lasso は $∥ y - X β ∥^{2} + λ \sum ∣ β_{j} ∣$ 、リッジは $+ λ \sum β_{j}^{2}$ 。
直交の場合：リッジは $b_{j} / (1 + λ)$ 、Lassoは $sign (b_{j}) (∣ b_{j} ∣ - λ /2)_{+}$ 。例 $b = (3.0, 0.8, - 0.3)$ で Lasso（ $λ = 2$ ）は $(2, 0, 0)$ 、リッジ（ $λ = 1$ ）は $(1.5, 0.4, - 0.15)$ 。
絶対値の罰は0での傾きが $λ$ で消えないので、 $∣ b ∣ \leq λ /2$ なら0で止まる。相関の強い変数ではどちらが残るかが不安定。 $λ$ は交差検証で決め、変数は標準化する。

【疑問】Lassoはなんで係数がちょうど0になるん？リッジ回帰とは何が違うん【統計検定1級】

管理人のひとこと

関連スレ