【疑問】誤差逆伝播法って、何を「逆に」伝えてるん？微分の連鎖律で手計算してみた【AI】

1: 名無しさん

損失を小さくするには、パラメータごとに損失の微分（勾配）が要る、までは分かった
でもパラメータが何億個もあるモデルで、どうやって全部の微分を出してるん

2: 名無しさん

＞＞1
おさらいから。学習は、損失 $L$ が小さくなる向きにパラメータ $w$ を少し動かす、のくり返し（勾配降下法）

w \leftarrow w - η \frac{\partial L}{\partial w}

$η$ は学習率。必要なのは、各パラメータについての $\partial L / \partial w$

3: 名無しさん

＞＞2
1個ずつ少し動かして、損失がどれだけ変わるか見たらええやん

4: 名無しさん

＞＞3
それ（数値微分）だと、パラメータ1個につき1回、モデル全体を計算し直すことになる
BERT の基本モデルはパラメータが約1億1000万個やから、1回の更新に1億回以上の計算が要る

5: 名無しさん

＞＞4
誤差逆伝播法やとどうなるん

6: 名無しさん

＞＞5
前向きに1回計算して、後ろ向きに1回たどるだけで、全部のパラメータの微分が出る。手間は前向きの計算の数倍程度
使ってるのは、微分の連鎖律（合成関数の微分）だけ

7: 名無しさん

＞＞6
連鎖律のおさらいを頼む

8: 名無しさん

＞＞7
$y$ が $h$ の関数で、 $h$ が $w$ の関数なら

\frac{\partial y}{\partial w} = \frac{\partial y}{\partial h} \cdot \frac{\partial h}{\partial w}

途中の変数ごとの微分を、掛け算でつないでいけばいい

9: 名無しさん

＞＞8
数字でやって

10: 名無しさん

＞＞9
いちばん小さい2層のネットで。入力 $x = 1$ 、正解 $t = 4$

h = w_{1} x, y = w_{2} h, L = (y - t)^{2}

$w_{1} = 2$ 、 $w_{2} = 3$ なら、前向きに $h = 2$ 、 $y = 6$ 、 $L = (6 - 4)^{2} = 4$

11: 名無しさん

＞＞10
で、後ろ向きは？

12: 名無しさん

＞＞11
出口から順に微分を出す

\frac{\partial L}{\partial y} = 2 (y - t) = 4

\frac{\partial L}{\partial w _{2}} = \frac{\partial L}{\partial y} \cdot h = 4 \times 2 = 8, \frac{\partial L}{\partial h} = \frac{\partial L}{\partial y} \cdot w_{2} = 4 \times 3 = 12

\frac{\partial L}{\partial w _{1}} = \frac{\partial L}{\partial h} \cdot x = 12 \times 1 = 12

13: 名無しさん

＞＞12
$\partial L / \partial h$ を出したら、それを $w_{1}$ の計算にそのまま使い回してるんやな

14: 名無しさん

＞＞13
そこがポイント。出口に近い層で出した微分を、1つ前の層に渡していく。これが「誤差を逆向きに伝える」の意味
層が何十あっても、各層は受け取った微分に自分のところの微分を掛けて、前に渡すだけ

15: 名無しさん

＞＞12
ほんまに合ってるか、数値微分で確かめたい

16: 名無しさん

＞＞15
$w_{1}$ を $2.001$ にすると $y = 6.003$ 、 $L = 2.00 3^{2} = 4.012009$
増えた分を $0.001$ で割ると約 $12.009$ で、ほぼ12。 $w_{2}$ を $3.001$ にすると $L \approx 4.008$ で、割ると約 $8.004$

17: 名無しさん

前向きの途中の値は、覚えておかなあかんの？

18: 名無しさん

＞＞17
要る。＞＞12でも、 $w_{2}$ の微分に $h = 2$ を使ってる
学習のときにメモリをたくさん使うのは、後ろ向きの計算のために、前向きの途中の値を取っておくから

19: 名無しさん

層が深いと、掛け算が続いて変なことにならん？

20: 名無しさん

＞＞19
なる。シグモイド関数（出力を0〜1に押しこむ関数）の微分は最大でも0.25やから、10層通ると

0.2 5^{10} \approx 9.5 \times 1 0^{- 7}

入口に近い層ほど微分がほぼ0になって、学習が進まない（勾配消失）。微分が1になる範囲を持つ ReLU を使ったり、層を飛ばしてつなぐ残差接続を入れたりして防いでる

21: 名無しさん

＞＞6
昔からある方法なん？

22: 名無しさん

＞＞21
ニューラルネットの学習法として広く知られたのは、Rumelhart、Hinton、Williams の論文（1986年）から
今の深層学習のライブラリは、この後ろ向きの計算を自動でやってくれる（自動微分）。人が書くのは前向きの計算だけ

23: 名無しさん

前向きに1回、後ろ向きに1回。後ろ向きは、連鎖律で微分を前の層に渡していくだけ、やな

管理人のひとこと

学習には各パラメータの $\partial L / \partial w$ が要る。1個ずつ動かす数値微分では、パラメータの数だけモデルを計算し直すことになる。
誤差逆伝播法は、前向きに1回計算し、出口から連鎖律 $\frac{\partial y}{\partial w} = \frac{\partial y}{\partial h} \frac{\partial h}{\partial w}$ で微分を前の層へ渡していく。前の層は受け取った微分を使い回す。
例 $h = w_{1} x, y = w_{2} h, L = (y - t)^{2}$ （ $x = 1, t = 4, w_{1} = 2, w_{2} = 3$ ）で $\partial L / \partial w_{2} = 8$ 、 $\partial L / \partial w_{1} = 12$ 。数値微分でも確かめられる。
前向きの途中の値を取っておくのでメモリを使う。微分の掛け算が続くと勾配消失が起きる（ $0.2 5^{10} \approx 9.5 \times 1 0^{- 7}$ ）ので、ReLU や残差接続で防ぐ。

【疑問】誤差逆伝播法って、何を「逆に」伝えてるん？微分の連鎖律で手計算してみた【AI】

管理人のひとこと

関連スレ