【疑問】ディープラーニングはなんでCPUやなくてGPUで学習するん？TPUって何【G検定】

1: 名無しさん

ディープラーニングの学習にはGPUが要るって言われる
CPUのほうが賢いチップやろ？なんでGPUなん

2: 名無しさん

前提のおさらい。多層パーセプトロンでは、各層で「入力に重みを掛けて足す」計算をする。入力をまとめると、これは行列の掛け算になる

3: 名無しさん

＞＞1
CPUは、少ない数（数個〜数十個）の強いコアで、条件分岐の多い複雑な処理を次々こなすのが得意
GPUは、もとは画像を描くための部品で、単純な計算をするコアを数千個並べて、同じ計算を一斉にやるのが得意

4: 名無しさん

＞＞3
ディープラーニングの計算は、ほとんどが行列の掛け算
1000×1000 の行列どうしの掛け算なら、掛け算と足し算が約 $100 0^{3} = 1 0^{9}$ 回。しかも結果の100万個の要素は、それぞれ別々に計算できる
互いに待たずに一斉に計算できるから、GPUの並べ方とぴったり合う

5: 名無しさん

＞＞4
TPUは、Googleがディープラーニングのために作った専用のチップ。行列の掛け算に特化してて、2017年の論文で設計と性能が発表された
GPUより用途は狭いけど、そのぶんこの計算では電力あたりの速さを出しやすい

6: 名無しさん

＞＞5
それならCPUは要らんの？

7: 名無しさん

＞＞6
要る。データの読み込みや前処理、全体の段取りはCPUの仕事。GPUやTPUは、重い行列の計算を引き受ける役
学習済みモデルを使うだけ（推論）なら、小さいモデルはCPUで十分なこともある

管理人のひとこと