【疑問】単純パーセプトロンはXORが解けんってほんま？層を1つ足したら解ける理由【G検定】

単純パーセプトロンと多層パーセプトロンの違いがよう分からん
層が増えたら何ができるようになるん？

前提のおさらい。ロジスティック回帰は、入力の重みつきの和 $z=w_1{x}_1+w_2{x}_2+b$ をシグモイド関数に通して分類する。境界は $z=0$ の直線

＞＞1
単純パーセプトロンは、入力層と出力層だけのモデル。重みつきの和が0より大きければ1、そうでなければ0を出す
ローゼンブラットの1958年の論文で発表された。境界はロジスティック回帰と同じく直線

＞＞3
ANDなら1本の直線で作れる。$w_1=w_2=1$、$b=-1.5$ とすると
(1, 1)：$1+1-1.5=0.5>0$ で1
(1, 0)：$1-1.5=-0.5$ で0
(0, 0) と (0, 1) も0になる

＞＞4
XOR（どちらか片方だけ1のとき1）はどうなるん？

＞＞5
(0, 1) と (1, 0) が1、(0, 0) と (1, 1) が0。図に描くと、1のグループが対角に分かれてて、どう直線を引いても分けられん
これが単純パーセプトロンの限界。ミンスキーとパパートが1969年の本で指摘したことでも知られてる

＞＞6
入力層と出力層のあいだに隠れ層を入れたのが多層パーセプトロン。XORは、隠れ層に2つのユニットを置けば作れる
$h_1$：OR（$x_1+x_2-0.5>0$）
$h_2$：NAND（$-x_1-x_2+1.5>0$）
出力：$h_1$ と $h_2$ のAND（$h_1+h_2-1.5>0$）

＞＞7
確かめると、(1, 0) は $h_1=1,h_2=1$ で出力1。(1, 1) は $h_1=1,h_2=0$ で出力0。(0, 0) は $h_1=0,h_2=1$ で出力0
隠れ層が入力を「別の見え方」に変えて、そこでは直線で分けられるようになってる

＞＞8
でもこの重みは人が考えて入れたやん。データから自動で決められるん？

＞＞9
単純パーセプトロンの学習規則では、隠れ層の重みをどう直せばええか分からんかった
それを解いたのが誤差逆伝播法。出力の誤差を後ろの層から前の層へ伝えて、隠れ層の重みも学習できるようにした。そのために、0か1かのステップ関数の代わりに、なめらかなシグモイド関数などを使う

＞＞10
隠れ層を何層も重ねたものをディープラーニング（深層学習）と呼ぶ。層を重ねると表せるものは増えるけど、そのぶん学習は難しくなる