【疑問】L1正則化で重みがちょうど0になるのはなんで？L2・ドロップアウトとの違い【G検定】

正則化の種類、L0・L1・L2・ドロップアウトの違いがあいまい
L1だと重みがちょうど0になるって聞いたけど、なんで？

前提のおさらい。過学習は、学習データには合ってるのに新しいデータで外れること。ホールドアウト検証や交差検証で、学習に使ってないデータで確かめると見つかる

＞＞1
正則化は、誤差関数に「重みが大きいことへの罰」を足して、モデルが複雑になりすぎるのを抑える

$\lambda$ は罰の強さ

＞＞3
罰の種類
L0正則化：0でない重みの数
L1正則化：重みの絶対値の合計
L2正則化：重みの2乗の合計
重み (3, 0.1) なら、L1は $3+0.1=3.1$、L2は $9+0.01=9.01$。L2は大きい重みを特に強く罰する

＞＞4
L0がいちばん分かりやすいのに、なんでL1やL2を使うん？

＞＞5
L0は「0かどうか」の数やから、なめらかでなくて微分が使えん。どの重みを0にするかの組み合わせを全部試すことになって、重みが多いと計算できん

L1で0になる理由は、重み1つの簡単な例で分かる
「$(w-a{)}^2/2$ ＋ 罰」を最小にする $w$ は
L2（罰 $\lambda w^2/2$）：$w=a/(1+\lambda )$。$\lambda =1$ なら $a$ の半分。小さくはなるけど0にはならん
L1（罰 $\lambda |w|$）：$|a|\le \lambda$ なら $w=0$、それより大きければ $|a|$ から $\lambda$ を引く。$\lambda =0.5$ で $a=0.3$ なら0、$a=2$ なら1.5

＞＞7
L1の罰は、重みが0に近くても同じ強さで引っぱる。L2の罰の引っぱりは重みに比例するから、0に近づくほど弱くなる。この違いで、L1だけがちょうど0にできる

＞＞8
線形回帰でいえば、L1をつけたのがラッソ回帰、L2をつけたのがリッジ回帰
ラッソは使わない変数の係数を0にするから、変数選びも一緒にやってくれる。リッジは全部の係数を少しずつ縮めて、相関の強い変数があっても安定する

ドロップアウトは、学習のたびに隠れ層のユニットをランダムに一部止める
止める確率を0.5にすると、毎回違う半分のネットワークで学習することになって、特定のユニットに頼りすぎるのを防ぐ。たくさんのネットワークを平均するのに近い効果がある

＞＞10
予測のときは全部のユニットを使うから、学習のときと出力の大きさが変わってまう
よくあるやり方は、学習のときに残ったユニットの出力を $1/(1-0.5)=2$ 倍にしておくこと。そうすれば予測のときはそのまま使える