【疑問】翻訳の BLEU、画像生成の FID、数字が大きいほうがええの？小さいほうがええの？生成の評価指標【AI】

翻訳モデルの論文で BLEU が上がった、画像生成の論文で FID が下がった、ってどっちも「良くなった」らしい
上がるのと下がるのが両方「良い」なの、混乱する

＞＞1
BLEU は「お手本の訳とどれだけ単語の並びが重なるか」で、大きいほど良い（0〜1、100倍して書くことも多い）
FID は「本物の画像の集まりと、生成した画像の集まりの特徴がどれだけ離れてるか」で、距離やから小さいほど良い

＞＞2
BLEU の計算を見せて

＞＞3
お手本（参照訳）が the cat is on the mat、モデルの訳が the cat the cat on the mat とする
まず1単語ずつ。モデルの訳の7語のうち、お手本にもある語を数える。ただし同じ語は、お手本に出てくる回数までしか数えない
the は3回あるけどお手本には2回だけなので2、cat は2回中1、on と mat が1ずつで、合計5。1語の一致率は $5/7$

＞＞4
回数を切るのはなんで

＞＞5
切らないと、the the the the the the みたいな訳が全部一致になってしまう
切れば the はお手本の2回までしか数えないから、$2/6$ にとどまる

＞＞6
2単語の並びも同じように見るん？

＞＞7
そう。モデルの訳の2語の並び6個のうち、the cat（2回中1）、on the、the mat が一致して $3/6$
ふつうは4単語の並びまで出して、その一致率の幾何平均をとる。ここで2語までにすると

＞＞8
短い訳を出したら、一致率は高くなりそう

＞＞9
そのための短さの罰（brevity penalty）がある。訳の長さ $c$ がお手本の長さ $r$ より短いとき

お手本6語に対して2語の訳 the cat なら $e^{1-3}\approx 0.14$ をかける。長い場合は1（罰なし）

＞＞10
BLEU っていつからあるん

＞＞11
Papineni et al.（2002）。人手の評価と相関する、自動で速く計算できる指標として出された
弱点は、言いかえに弱いこと。the cat sits on the mat は意味がほぼ同じでも、一致が減って点が下がる

＞＞12
FID はどう計算してるん

＞＞13
画像を、画像分類用に学習済みのネットワーク（Inception）に通して、途中の特徴ベクトルを取る
本物の画像の集まりと、生成した画像の集まりで、それぞれの特徴の平均と分散共分散行列を出して、2つの正規分布の距離（フレシェ距離）を計算する（Heusel et al., 2017）

＞＞14
行列が出てきて分からん。1次元で頼む

＞＞15
1次元なら $({\mu }_1-{\mu }_2{)}^2+({\sigma }_1-{\sigma }_2{)}^2$ になる
本物が平均0・標準偏差1、生成が平均1・標準偏差2なら $1+1=2$
平均が同じでも、ばらつきが違えば0にならない。生成画像が似たものばかり（多様性がない）だと分散が小さくなって、FID が悪くなる

＞＞16
FID が小さいモデルを選べば間違いない？

＞＞17
そうとも言えない。枚数が少ないと FID は大きめに出る偏りがあるから、同じ枚数で比べないと意味がない
特徴を取るネットワークが見てるものしか測れないから、人が見て気になる崩れを見逃すこともある

＞＞18
結局どの指標もクセがあるなら、人に見てもらうのがいちばんちゃうの

＞＞19
最後に人の評価で確かめるのは今でも大事。でも人の評価は時間と費用がかかって、毎回の学習の途中で何千回も回せない
自動の指標で大まかに比べて、要所で人が見る、という組み合わせがふつう

＞＞1
画像とテキストの合い具合を測る指標もあるよな

＞＞21
CLIP の画像とテキストの埋め込みの類似度を使う指標（CLIPScore など）がある。指示どおりの画像になってるかを見るのに使われる
FID は「本物らしさ」、こっちは「指示に合ってるか」で、見てるものが違う