【疑問】微分・偏微分・勾配、AIの学習で何に使ってるん？坂を下りる話を数字で確かめた【G検定】

1: 名無しさん

AIの学習の説明で「勾配」「偏微分」って出てくるけど、微分なんか高校以来や
何に使ってるんか、ざっくり知りたい

2: 名無しさん

＞＞1
微分は、ある点での傾き。 $f (x) = x^{2}$ なら導関数は $f^{'} (x) = 2 x$ で、 $x = 3$ での傾きは6
実際に少しだけ動かして確かめると

\frac{f ( 3.01 ) - f ( 3 )}{0.01} = \frac{9.0601 - 9}{0.01} = 6.01

動かす幅を小さくするほど6に近づく

3: 名無しさん

＞＞2
傾きが分かったら、何がうれしいん？

4: 名無しさん

＞＞3
傾きが正なら、 $x$ を小さくすれば $f$ が下がる。負なら大きくすれば下がる
AIの学習は「誤差をできるだけ小さくするパラメータ」を探す作業やから、傾きの逆に少しずつ動けば誤差が下がっていく
傾きが0になる点が、谷の底（最小値）の候補

5: 名無しさん

偏微分は、変数が2つ以上あるときに、1つだけ動かして残りは止めたときの傾き
$f (x, y) = x^{2} + 3 y^{2}$ なら

\frac{\partial f}{\partial x} = 2 x, \frac{\partial f}{\partial y} = 6 y

点 (1, 2) では、 $x$ 方向の傾きが2、 $y$ 方向の傾きが12

6: 名無しさん

＞＞5
その偏微分を並べたベクトルが勾配

\nabla f (1, 2) = (2, 12)

勾配は、その点で $f$ が一番急に増える向きを指してる。だから勾配の逆向きに進むのが一番急な下り坂

7: 名無しさん

＞＞6
数字で1歩下りてみる。動かす幅（学習率）を0.1にすると

(1, 2) - 0.1 \times (2, 12) = (0.8, 0.8)

$f$ は $1 + 12 = 13$ から $0.64 + 1.92 = 2.56$ まで下がった。これをくり返すのが勾配降下法

8: 名無しさん

＞＞7
学習率を大きくしたら速く下りられるんちゃう？

9: 名無しさん

＞＞8
大きすぎると谷を飛び越える。この例で学習率を0.5にすると、 $y$ は $2 - 0.5 \times 12 = - 4$ になって、 $f$ は $0^{2} + 3 \times 16 = 48$ に増えてまう
小さすぎると今度はなかなか下りきらん。ちょうどええ幅を選ぶのが難しいところ

10: 名無しさん

＞＞9
ニューラルネットワークはパラメータが何百万個もあって、全部の偏微分を一気に出さなあかん。それを効率よくやるのが誤差逆伝播法やな

管理人のひとこと

微分はある点での傾き。 $f (x) = x^{2}$ の $x = 3$ での傾きは6（幅0.01で動かすと6.01）。
AIの学習は誤差を最小にするパラメータ探し。傾きの逆に動けば誤差が下がり、傾き0の点が最小値の候補。
偏微分は1つの変数だけ動かした傾き、勾配はそれを並べたベクトル。 $f = x^{2} + 3 y^{2}$ の (1,2) での勾配は (2,12) で、一番急に増える向き。
学習率0.1で1歩進むと (0.8,0.8) で、 $f$ は13から2.56に下がる。学習率0.5だと $f$ は48に増える。

【疑問】微分・偏微分・勾配、AIの学習で何に使ってるん？坂を下りる話を数字で確かめた【G検定】

管理人のひとこと

関連スレ