【疑問】ResNetのスキップ結合、入力を足すだけで152層も学習できるのはなんで？【G検定】

1: 名無しさん

ResNetは層を飛ばして入力を足すだけ、って説明されるけど、それで深くできるのが納得いかん

2: 名無しさん

前提のおさらい。誤差逆伝播法では層ごとの傾きを掛け算して勾配を伝える。傾きが1より小さい層が続くと、前の層ほど勾配が小さくなる（勾配消失）

3: 名無しさん

＞＞1
スキップ結合は、何層かの変換 $F (x)$ の出力に、もとの入力 $x$ をそのまま足す

y = F (x) + x

これを微分すると $F^{'} (x) + 1$ 。 $F$ の傾きが小さくても、「＋1」の道があるから勾配が消えにくい

4: 名無しさん

＞＞3
数字で比べる。傾き0.5の層を20層つなぐと、勾配は $0. 5^{20} \approx 0.00000095$
スキップ結合があると、 $x$ をそのまま通す道の傾きはずっと1。何層あっても、その道を通る勾配は小さくならん

5: 名無しさん

＞＞4
でも勾配が消えるだけなら、ReLUや正規化で対策できたんちゃうの？

6: 名無しさん

＞＞5
それでも、層を増やすと学習データでの誤差まで悪くなる現象があった。過学習とは違って、深いネットワークをうまく最適化できてない
スキップ結合なら、 $F (x) = 0$ にするだけで「何もしない層」になれる。余分な層があっても前より悪くはなりにくく、 $F$ は入力との差（残差）だけを学べばええ

7: 名無しさん

＞＞6
ResNetはヘーらの2015年の論文で、ILSVRC 2015で優勝した。いちばん深いもので152層あった

管理人のひとこと

スキップ結合は $y = F (x) + x$ で、微分は $F^{'} (x) + 1$ 。入力をそのまま通す道の傾きが1なので勾配が消えにくい（傾き0.5の20層なら約0.00000095になるところ）。
深くすると学習データの誤差まで悪くなる現象があり、スキップ結合なら $F = 0$ で何もしない層になれる。 $F$ は残差だけを学べばよい。
ResNetはヘーらの2015年の論文で、ILSVRC 2015で優勝し、最も深いもので152層。

【疑問】ResNetのスキップ結合、入力を足すだけで152層も学習できるのはなんで？【G検定】

管理人のひとこと

関連スレ