【疑問】マルチモーダル、CLIP・DALL-E・Flamingo・Unified-IOと、Image Captioning・VQA・基盤モデル【G検定】

マルチモーダルのところに、CLIP・DALL-E・Flamingo・Unified-IO、Image Captioning・VQA・Text-to-Image・Zero-shot・基盤モデルと並んでる。整理したい

前提のおさらい。事前学習済みモデルは、大量のデータで先に学んでおいて、目的のタスクでは少ない調整で使う。マルチモーダルは、画像と文章のように、種類の違うデータをまとめて扱うこと

＞＞1
タスクから
Image Captioning：画像を入れて、説明の文を出す
Visual Question Answering（VQA）：画像と質問を入れて、答えを出す。「この部屋に椅子は何脚ある？」など
Text-to-Image：文を入れて、画像を出す

＞＞3
CLIPは、ラドフォードらの2021年の論文。約4億組の画像と文の組で、本物の組のベクトルを近づけ、違う組を遠ざけるように学んだ
そのおかげで、分類用の学習をしなくても、クラス名を文にしてベクトルにすれば、画像に一番近い文を選ぶだけで分類できる。これがZero-shot

＞＞4
数字にすると、「りんごの写真」と「みかんの写真」の文に対する類似度が0.28と0.22で、倍率100を掛けてソフトマックスに通せば、りんごが約99.8%

＞＞3
DALL-Eは、ラメシュらの2021年の論文。文から画像を作るText-to-Imageのモデル
Flamingoは、アライラックらの2022年の論文。画像と文が混ざった入力を読んで、文を出す。例を数個見せるだけでVQAやキャプションをこなすFew-shotの能力が売り

＞＞6
Unified-IOは何が違うん？

＞＞7
画像・文・物体の枠などを、全部同じ形の記号の列に直して、1つのモデルで分類・検出・キャプション・VQAなどたくさんのタスクを扱う
いくつものタスクを1つのモデルで同時に学ぶのがマルチタスク学習。タスクどうしで役立つ知識を共有できる

＞＞8
基盤モデルは、大量で幅広いデータで学習して、いろんなタスクに合わせて使えるモデルのこと。ボマサニらの2021年の報告で広まった呼び方
CLIPや大規模言語モデルがその例

＞＞9
1つのモデルを何にでも使えるのは便利やけど、そのモデルの偏りや間違いも、使う先の全部に一緒に引き継がれる

＞＞10
CLIPのZero-shotも、ネットから集めた文と画像の組で学んでるから、ネット上で多い見方に引っぱられる。使う先のデータで性能を確かめるのは省けん