【疑問】G検定に出てくる人名・モデル名・年、まぎらわしいものをまとめて確認したい【G検定】

人名・モデル名・年がごちゃごちゃになる。まぎらわしいものをまとめて確認したい

前提のおさらい。モデルを軽くする方法として、プルーニング（重みを取り除く）、量子化（ビット数を減らす）、蒸留（ヒントンらの2015年の論文、教師の分布を生徒にまねさせる）、宝くじ仮説（2019年の論文）があった

＞＞1
AIの歴史の出発点から
1950年：チューリングが、機械が考えられるかを会話で判定する方法（チューリングテスト）を提案
1956年：ダートマス会議で「人工知能」という言葉が使われた
1958年：ローゼンブラットのパーセプトロン
1969年：ミンスキーとパパートが、単純パーセプトロンの限界を示した

＞＞3
第2次ブームのころ
1980年：福島邦彦のネオコグニトロン。畳み込みニューラルネットワークのもとになった考え方
1986年：ラメルハート、ヒントン、ウィリアムズが誤差逆伝播法を広めた
1989年：ルカンらが、手書き数字の認識に畳み込みと誤差逆伝播法を使った

＞＞4
ネオコグニトロンとルカンのやつ、どっちが誤差逆伝播法を使ってたんやったっけ

＞＞5
誤差逆伝播法で学習したのはルカンらのほう。ネオコグニトロンは誤差逆伝播法を使わない学習のしかたやった。並びは、ネオコグニトロン（1980年）が先

第3次ブームの入り口
1997年：LSTM（ホッフライターとシュミットフーバー）。同じ年に、チェスでディープ・ブルーが世界チャンピオンに勝った
2006年：ヒントンらの論文から、層ごとの事前学習で深いネットワークを学習する流れが広まった
2012年：AlexNetが画像認識のコンテストILSVRCで大差の優勝

画像分類の系譜は、何を変えたかで覚える
VGG（2014年の論文）：3×3を重ねて深くする
GoogLeNet（2014年の論文）：Inceptionモジュールで違う大きさのフィルタを並べる
ResNet（2015年の論文）：スキップ結合で深くしても学習できる
Wide ResNet（2016年の論文）：幅を広げる
DenseNet（2017年の論文）：前の全部の層の出力をつなげる
SENet（2017年の論文）：チャネルに重みをつける

＞＞8
MobileNetとMnasNetとEfficientNetもまぎらわしい

＞＞9
MobileNet（2017年の論文）：Depthwise Separable Convolutionで軽くする
MnasNet（2018年の論文）：スマホでの処理時間も評価に入れて構造を自動で探す
EfficientNet（2019年の論文）：深さ・幅・解像度を決まった比率で一緒に大きくする
Vision Transformer（2020年の論文）：画像をパッチに分けてTransformerに入れる

系列と言語
Seq2Seq（2014年の論文）、GRU（2014年の論文）
word2vec（ミコロフらの2013年の論文）：CBOWは周りから真ん中、スキップグラムは真ん中から周り
Transformer（ヴァスワニらの2017年の論文）
ELMo（2018年の論文）は双方向のLSTM、BERT（デヴリンらの2018年の論文）はTransformerのエンコーダ
PaLM（2022年の論文）

＞＞11
ELMoとBERTはどっちも2018年で、どっちも前後の文脈を見るから混ざる

＞＞12
土台で分けると分かりやすい。ELMoはLSTM、BERTはTransformer。ELMoは左からと右からを別々に読んでつなぐ、BERTは各層で両方向を同時に見る

生成モデル
VAE（キングマとウェリングの2013年の論文）
GAN（グッドフェローらの2014年の論文）
Pix2Pix（2017年の論文）は組のデータ、CycleGAN（2017年の論文）は組にならないデータ
DDPM（ホーらの2020年の論文）、NeRF（2020年の論文）

強化学習とゲーム
DQN（ムニらの2015年の論文）
AlphaGo：2016年に世界トップ級の棋士に勝った
A3C（2016年の論文）、PPO（2017年の論文）
アルファスター（2019年の論文）
Agent57（2020年の論文）：Atariの57本すべてで人間の基準を上回った

＞＞14
マルチモーダルは、CLIP（2021年の論文）、DALL-E（2021年の論文）、Flamingo（2022年の論文）
説明可能AIは、CAM（2016年の論文）とGrad-CAM（2017年の論文）、LIME（2016年の論文）とSHAP（2017年の論文）。CAMとLIMEが先、Grad-CAMとSHAPが次の年

＞＞16
年をまるごと覚えるより、「何が何を直したか」の順番で覚えるほうが崩れにくい。R-CNN → Fast R-CNN → Faster R-CNN → Mask R-CNN、みたいに、前の弱点を次が直す流れで並べると、年は後からついてくる