【疑問】物体識別・物体検出・3種類のセグメンテーション・姿勢推定、出力が何かで整理したい【G検定】

画像認識のタスク、物体識別・物体検出・セマンティック・インスタンス・パノプティック・姿勢推定って何が違うん？

前提のおさらい。畳み込み層は画像から特徴マップを作る。どのタスクも、この特徴マップのあとに「何を出力するか」が違う

＞＞1
出力で並べるのが一番分かりやすい
物体識別：画像1枚に1つのラベル（「犬」）
物体検出：物ごとに、四角い枠（バウンディングボックス）とラベル（「犬がここ、猫がここ」）
セグメンテーション：画素ごとにラベル
姿勢推定：人の関節（肩・ひじ・ひざなど）の位置

＞＞3
セグメンテーションが3種類あるのがややこしい

＞＞4
犬が2匹いる写真で考える
セマンティックセグメンテーション：画素ごとに「犬」「道路」「空」を塗る。2匹とも同じ「犬」の色で、1匹ずつは区別せん
インスタンスセグメンテーション：「犬1」「犬2」と1匹ずつ分ける。そのかわり、道路や空みたいに数えられない背景は扱わん
パノプティックセグメンテーション：両方をまとめる。全部の画素にラベルをつけて、数えられる物は1つずつ分ける

＞＞3
物体検出の枠が合ってるかは、どうやって測るん？

＞＞6
よく使うのがIoU。予測の枠と正解の枠の、重なった面積を、合わせた面積で割る
(0, 0)〜(4, 4) の枠と (2, 2)〜(6, 6) の枠なら、重なりは 2×2 = 4、合わせた面積は $16+16-4=28$ で、IoUは $4/28\approx 0.14$
IoUが0.5以上なら当たり、のように決めて、適合率や再現率を計算する

＞＞7
0.14やと、枠の半分ずつ重なってるように見えても、だいぶ外れ扱いなんやな

＞＞3
一般物体認識って言葉も出てくる。決まった種類の物だけやなくて、身の回りのいろんな物を見分ける、という意味。特定の顔や部品だけを見分ける特定物体認識と区別される

＞＞3
姿勢推定は、スポーツのフォームの分析や、カメラで人の動きを読む用途で使われてる。関節の点をつないだ骨組みとして出す