【疑問】784→128→10の全結合層、パラメータはいくつ？重みとバイアスを数えてみた【G検定】

G検定で「この全結合層のパラメータ数は？」って計算問題が出るらしい
どう数えればええん？

前提のおさらい。多層パーセプトロンでは、各ユニットが前の層の全部の出力に重みを掛けて足し、バイアスを足して、活性化関数に通す。この「前の層の全部とつながる」層を全結合層という

＞＞1
全結合層は線形関数 $\mathbf{y}=W\mathbf{x}+\mathbf{b}$
入力が $n$ 個、出力が $m$ 個なら、重みは $n\times m$ 個、バイアスは $m$ 個

＞＞3
28×28の手書き数字の画像（784画素）を、128ユニットの隠れ層、10クラスの出力層に通すと
1層目：$784\times 128+128=100480$
2層目：$128\times 10+10=1290$
合計：101770個

＞＞4
ほとんど1層目やな。入力が大きいと一気に増える

＞＞5
しかも全結合層は、画像を1列に並べ直して入れるから、隣どうしの画素の位置関係を使ってない。カラー画像の 32×32×3 を同じ大きさの出力に全結合でつなぐと、重みだけで $3072\times 3072\approx 944$万個
画像では、近くの画素だけを見て重みを使い回す畳み込み層のほうが、ずっと少ないパラメータで済む