【疑問】ラベルが少ないとき、自己教師あり学習・半教師あり学習・Few-shot・One-shotはどう使い分ける？【G検定】

ラベルつきの画像が少ししかない。自己教師あり・半教師あり・Few-shot、どれを使えばええん？

前提のおさらい。事前学習済みモデルを使えば、目的のデータが少なくても、付け足した層だけ学習する転移学習や、全体を少しずつ調整するファインチューニングができる

＞＞1
自己教師あり学習は、ラベルなしのデータから自分で問題を作って学ぶ。BERTの「隠した語を当てる」や、同じ画像を別々に加工した2枚を「同じもの」として近づける対照学習がそれ
事前学習のやり方で、ここで作ったモデルをファインチューニングして使う

＞＞1
半教師あり学習は、少しのラベルつきデータと、たくさんのラベルなしデータを両方使う
ラベルつきで学んだモデルが、ラベルなしの画像に「犬の確率0.95以上」と自信を持って出したものだけ、仮のラベル（疑似ラベル）として学習に足す

＞＞4
疑似ラベルが間違ってたら、間違いを覚えてどんどん悪くならん？

＞＞5
なる。だから自信の高いものだけに絞る。それでも最初のモデルのくせはそのまま増えるから、ラベルつきのデータで評価しながら進める

Few-shotは、クラスごとにほんの数枚の例だけで見分けること。1枚だけならOne-shot
5クラスを1枚ずつで見分ける（5-way 1-shot）なら例は5枚、5枚ずつ（5-shot）でも25枚
事前学習で「似てる・似てない」を測る力をつけておいて、例との近さでクラスを決めることが多い

＞＞7
まとめると、ラベルなしデータがたくさんあるなら自己教師あり学習か半教師あり学習、新しいクラスの例がほんの少ししかないならFew-shot。組み合わせて使うことも多い