【疑問】誤差逆伝播法の「信用割当問題」って何？連鎖律で2層ぶん手計算してみた【G検定】

1: 名無しさん

誤差逆伝播法は「誤差を後ろから伝える」って説明されるけど、何を伝えてるんか分からん
信用割当問題って言葉も出てくる

2: 名無しさん

前提のおさらい。偏微分は、ほかの変数を止めて1つだけ動かしたときの傾き。勾配の逆向きにパラメータを少し動かせば誤差が下がる

3: 名無しさん

＞＞1
信用割当問題は「出力が外れたとき、どの重みにどれだけ責任があるか」という問題
出力層の重みなら誤差との関係が見えやすいけど、前の層の重みは、あいだの層を何段も通ってから出力に効く。どれをどれだけ直せばええか、そのままでは分からん

4: 名無しさん

＞＞3
それを解くのが連鎖律。「 $a$ が $b$ を動かし、 $b$ が $c$ を動かす」なら

\frac{\partial c}{\partial a} = \frac{\partial c}{\partial b} \cdot \frac{\partial b}{\partial a}

途中の傾きを掛け算すれば、遠くの重みの責任も出せる

5: 名無しさん

＞＞4
2層の小さい例で手計算する。入力 $x = 2$ 、重み $w_{1} = 0.5$ 、 $w_{2} = 3$ 、正解 $t = 1$
$h = w_{1} x = 1$ 、 $y = w_{2} h = 3$ 、誤差 $L = \frac{1}{2} (y - t)^{2} = 2$

6: 名無しさん

＞＞5
後ろから順に出す
$\partial L / \partial y = y - t = 2$
$\partial L / \partial w_{2} = 2 \times h = 2$
$\partial L / \partial h = 2 \times w_{2} = 6$
$\partial L / \partial w_{1} = 6 \times x = 12$
$\partial L / \partial h$ を一度出したら、 $w_{1}$ の計算にそのまま使い回せる。これが「後ろから伝える」の中身

7: 名無しさん

＞＞6
ほんまに12になるか確かめる。 $w_{1}$ を0.001だけ増やすと、 $h = 1.002$ 、 $y = 3.006$ 、 $L \approx 2.01202$
増え方は $0.01202/0.001 \approx 12.0$ で一致する

8: 名無しさん

＞＞7
それやったら、全部の重みをちょっとずつ動かして確かめるやり方でもええやん

9: 名無しさん

＞＞8
重みが100万個あったら、100万回それぞれ動かして出力を計算し直さなあかん
誤差逆伝播法なら、前向きに1回、後ろ向きに1回計算するだけで、全部の重みの勾配がそろう。この差が大きい

10: 名無しさん

ニューラルネットワークの学習に誤差逆伝播法が広まったきっかけは、ラメルハート、ヒントン、ウィリアムズの1986年の論文

11: 名無しさん

＞＞6
途中の傾きを掛け算していくってことは、傾きが小さい層が続いたら、前の層ほど勾配がどんどん小さくなるんちゃう？

12: 名無しさん

＞＞11
なる。それが勾配消失問題。逆に1より大きい傾きが続くと勾配が爆発する。掛け算でつながってるから起きる、誤差逆伝播法のいちばん大きな弱点

管理人のひとこと

信用割当問題は、出力が外れたときどの重みにどれだけ責任があるかという問題。連鎖律 $\partial c / \partial a = (\partial c / \partial b) (\partial b / \partial a)$ で途中の傾きを掛けて解く。
$x = 2, w_{1} = 0.5, w_{2} = 3, t = 1$ なら $L = 2$ 、 $\partial L / \partial w_{2} = 2$ 、 $\partial L / \partial w_{1} = 12$ 。 $w_{1}$ を0.001動かすと増え方は約12.0で一致する。
後ろの層で出した $\partial L / \partial h$ を前の層で使い回すので、前向き1回・後ろ向き1回で全部の勾配がそろう。
掛け算でつながるため、傾きが小さいと勾配消失、大きいと勾配爆発が起きる。

【疑問】誤差逆伝播法の「信用割当問題」って何？連鎖律で2層ぶん手計算してみた【G検定】

管理人のひとこと

関連スレ