【疑問】拡散モデルって、ノイズから画像を作るってどういうことなん？【AI】

画像生成AIの「拡散モデル」
ノイズを消していったら画像が出てくる、って説明されても意味が分からん

＞＞1
基本の形は Ho、Jain、Abbeel の DDPM（Denoising Diffusion Probabilistic Models、2020年）
2つの向きの処理を考える
前向き：画像に少しずつノイズを足して、最後は完全なノイズにする
逆向き：ノイズから1段ずつノイズを取り除いて、画像に戻す。学習するのはこっち

＞＞2
前向きはどのくらいずつノイズを足すん

＞＞3
論文では1000段に分けて、段ごとのノイズの大きさ ${\beta }_t$ を0.0001から0.02まで直線的に増やしてる
1段ごとの式は

$\epsilon$ は標準正規分布（平均0、分散1）のノイズ

＞＞4
便利なのは、何段目でも元画像から一発で出せること
${\bar{\alpha }}_t$ を $1-{\beta }_s$ を1段目から $t$ 段目まで掛けたものとすると

元画像の割合が $\sqrt{{\bar{\alpha }}_t}$、ノイズの割合が $\sqrt{1-{\bar{\alpha }}_t}$

＞＞5
数字で

＞＞6
論文の設定で計算すると
$t=100$：$\bar{\alpha }\approx 0.897$
$t=500$：$\bar{\alpha }\approx 0.079$
$t=1000$：$\bar{\alpha }\approx 0.00004$
259段目あたりで $\bar{\alpha }$ がほぼ0.5、つまり元画像とノイズが半々

＞＞7
1つの画素でやってみて

＞＞8
画素の値は $-1$ から1に直してある。元の画素が0.8、引いたノイズが0.5、$\bar{\alpha }=0.5$ の段なら

1000段目になると元画像の係数は約0.006で、ほぼノイズだけ

＞＞9
で、逆向きは何を学習するん

＞＞10
ニューラルネットに「この $x_t$ に混ざってるノイズ $\epsilon$ はどれか」を当てさせる
損失（当て外れの大きさ）は

${\epsilon }_{\theta }$ がネットワークの予想。本物のノイズとの差の2乗を小さくする

＞＞11
画像そのものを当てさせるんやなくて、ノイズを当てさせるんか

＞＞12
そう。論文では、画像を当てさせる方式は初期の実験で質が悪かった、と書いてる
ノイズを当てる方式と、この単純な損失の組み合わせで一番いい画像が出た

＞＞13
生成するときは？

＞＞14
完全なノイズから始めて、予想したノイズを少しずつ引く、を1000段くり返す
1段ずつ、少しランダムなノイズも足し直しながら進める

＞＞15
1000回もネットワークを動かすん？一発で消せばええやん

＞＞16
論文の DDPM は1000段そのまま
1段のノイズを小さくしてるのは、逆向きの1段を正規分布で近似できるようにするため。一気に大きく戻そうとすると、その近似が成り立たん
段数を減らして速くする工夫は、後の研究のテーマになってる

性能はどうやったん

＞＞18
CIFAR10（32×32ピクセルの小さい画像のデータ）で、FID（生成画像と本物の画像の特徴の分布のずれ、小さいほどいい）が3.17
Inception スコア（大きいほどいい）は9.46

＞＞19
いや、FIDが小さいなら画像として完璧ってことやろ

＞＞20
FIDは特徴の分布の近さを測ってるだけで、1枚1枚の正しさは見てない
論文も、対数尤度（データをどれだけうまく説明できるかの指標）は他の方式に負けてる、と書いてる。見た目の質と別の指標の良し悪しは一致せん