【疑問】ディープラーニングっていつ誰が作ったん？ネオコグニトロン・LeNet・ImageNet・AlphaGoを順番に【G検定】

1: 名無しさん

ディープラーニングって最近できた技術やと思ってたら、ネオコグニトロンとか昔の名前が出てきた
歴史を順番に知りたい

2: 名無しさん

前提のおさらい。機械学習はルールを人が書く代わりに、データからパターンを学ぶ。ディープラーニングはその一種で、層を深く重ねたニューラルネットワークを使う

3: 名無しさん

＞＞1
出発点は人間の神経回路をまねたモデル
1943年にマカロックとピッツが、神経細胞（ニューロン）を単純な計算で表すモデルを出した
入力 $x_{i}$ に重み $w_{i}$ をかけて足し、関数 $f$ を通して出力する

y = f (i \sum w_{i} x_{i} + b)

4: 名無しさん

＞＞3
数字を入れるとどうなる？

5: 名無しさん

＞＞4
$x_{1} = 1, x_{2} = 0, w_{1} = 0.7, w_{2} = 0.4, b = - 0.5$ で、 $f$ を「0以上なら1、それ以外は0」とすると

0.7 \times 1 + 0.4 \times 0 - 0.5 = 0.2 \geq 0 \Rightarrow y = 1

重みを変えると答えが変わる。重みをデータから決めるのが「学習」

6: 名無しさん

＞＞3
これを学習できるようにしたのが、1958年のローゼンブラットのパーセプトロン

7: 名無しさん

＞＞1
画像のほうでは、1980年に福島邦彦がネオコグニトロンを発表した
目の神経の仕組みをヒントに、形の特徴を取り出す層と、位置のずれを吸収する層を交互に重ねた。今の畳み込みニューラルネットワーク（CNN）の原型と言われる

8: 名無しさん

＞＞7
LeNet はそのあと？

9: 名無しさん

＞＞8
そう。ルカンらが1989年の論文で、誤差逆伝播法で学習する畳み込みのネットワークを、手書きの郵便番号の数字の認識に使った。この流れが LeNet と呼ばれる
ネオコグニトロンとの大きな違いは、誤差逆伝播法でネットワーク全体を学習させるところ

10: 名無しさん

＞＞9
そんな前からあったのに、なんですぐ広まらんかったん？

11: 名無しさん

＞＞10
データと計算機が足りなかった。層を深くすると学習もうまく進まなかった
そこで大量の画像データを用意したのが ImageNet。2009年の論文で発表された画像のデータベースで、のちに1400万枚を超えた
これを使った画像認識の大会が ILSVRC

12: 名無しさん

＞＞11
2012年の ILSVRC で、ヒントンらのチームの AlexNet が top-5 エラー率15.3%で優勝。2位は26.2%で、ディープラーニングが一気に注目された

13: 名無しさん

＞＞1
AlphaGo（アルファ碁）は？

14: 名無しさん

＞＞13
ディープマインドが作った囲碁のAI。2016年にトップ棋士のイ・セドルに4勝1敗で勝った
ディープラーニングで盤面を評価して、モンテカルロ法の探索と組み合わせた。評価関数を作りにくい囲碁で、それを学習で作ったのがポイント

15: 名無しさん

＞＞14
最近よく聞く生成AIもこの流れ？

16: 名無しさん

＞＞15
そう。生成AIは、学習したデータをもとに、文章や画像を新しく作るAI
分類や認識だけじゃなく、作るほうにもディープラーニングが使われるようになった

17: 名無しさん

＞＞16
ニューロンのモデル → パーセプトロン → ネオコグニトロン → LeNet → ImageNet と AlexNet → AlphaGo → 生成AI。アイデアは古くて、データと計算機が追いついて花開いた、と覚えとく

管理人のひとこと

1943年のマカロックとピッツのニューロンのモデル $y = f (\sum_{i} w_{i} x_{i} + b)$ が出発点で、1958年にローゼンブラットがパーセプトロンを出した。
1980年に福島邦彦がネオコグニトロン（CNN の原型）、1989年にルカンらが誤差逆伝播法で学習する畳み込みのネットワーク（LeNet の流れ）を手書きの数字に使った。
2009年の論文で ImageNet が発表され、2012年の ILSVRC で AlexNet が top-5 エラー率15.3%（2位26.2%）で優勝した。
2016年に AlphaGo がイ・セドルに4勝1敗。生成AIは文章や画像を新しく作るAI。