【疑問】拡散モデルとNeRF、画像・文章・音声の生成はどう作られてる？【G検定】

今の画像生成は拡散モデルが主流らしい。GANと何が違うん？あとNeRFも同じところに出てくる

前提のおさらい。GANは、生成ネットワークと識別ネットワークを競わせて学習する。うまくいけばきれいな画像が出るけど、学習が不安定で、同じような画像ばかり出るモード崩壊が起きやすい

＞＞1
拡散モデルは、画像に少しずつノイズを足して完全なノイズにする過程を考えて、その逆、ノイズを1段ずつ取り除く過程をネットワークに学ばせる
よく使われる形は、ホーらの2020年の論文のDDPM。ネットワークは「この画像に混ざってるノイズはどれか」を当てる練習をするだけで、相手と競わせない

＞＞3
ノイズを足した画像は $x_t=\sqrt{{\bar{\alpha }}_t}{x}_0+\sqrt{1-{\bar{\alpha }}_t}\epsilon$ と書ける。$x_0$ がもとの画素、$\epsilon$ がノイズ
${\bar{\alpha }}_t=0.36$ なら、もとの画素に0.6、ノイズに0.8を掛ける。画素が1、ノイズが−0.5なら $0.6-0.4=0.2$

＞＞3
1段ずつノイズを取るんやったら、生成が遅いんちゃうの？

＞＞5
遅い。GANは1回ネットワークを通すだけやけど、拡散モデルは何十回から何百回も通す。段の数を減らす工夫がいろいろ出てる
そのかわり学習が安定してて、いろんな画像をまんべんなく作れる。文章で指示して画像を作る使い方とも相性がええ

NeRFは、ミルデンホールらの2020年の論文。いろんな向きから撮った何十枚かの写真から、その場面を好きな向きから見た画像を作る
空間の位置 $(x,y,z)$ と見る向きを入れると、その点の色と密度（どれだけ光をさえぎるか）を返すネットワークを学習する

＞＞7
1本の視線に沿って点を並べて、手前から色を重ねる。1つ目の点が光の半分をさえぎって赤、2つ目も残りの半分をさえぎって青なら、赤が0.5、青が0.25の割合で混ざって、残りの0.25は奥へ抜ける
その結果が写真と合うように学習するから、写真しか見てなくても立体の形が分かる

画像以外の生成も整理しとく
文章生成：大規模言語モデルが、次の語を当てるのを繰り返して文章を作る
音声生成：WaveNetのように波形を1点ずつ作るものや、文章から音声を作る音声合成
画像生成：拡散モデルやGAN

＞＞9
どれも、本物そっくりのものが作れるから、なりすましや偽の写真の問題も一緒についてくる。作る技術と見分ける技術はセットで考えなあかん