【疑問】ロジスティック「回帰」やのに分類に使うのはなんで？確率の出し方と多クラス分類【G検定】

1: 名無しさん

ロジスティック回帰って名前に「回帰」が入ってるのに、分類のモデルって説明される
どっちなん？

2: 名無しさん

前提のおさらい。線形回帰は $y = a + b x$ のように、説明変数の重みつきの和で数値を予測する。ただこのままやと、予測は −∞ から ∞ までどんな値にもなる

3: 名無しさん

＞＞1
ロジスティック回帰は、線形回帰と同じ重みつきの和 $z$ を作って、それをシグモイド関数で0〜1に押しこむ

p = \frac{1}{1 + e ^{- z}}

出てくる $p$ を「合格する確率」のように読む。確率という数値を予測してるから回帰、その確率を0.5などで区切って合格・不合格を決めるから分類に使う

4: 名無しさん

＞＞3
数字でやってみる。勉強時間 $x$ （時間）から $z = - 4 + 0.5 x$ と学習できたとして
$x = 6$ ： $z = - 1$ 、 $p \approx 0.27$
$x = 8$ ： $z = 0$ 、 $p = 0.5$
$x = 10$ ： $z = 1$ 、 $p \approx 0.73$
しきい値0.5なら、8時間を超えたところから「合格」と予測する

5: 名無しさん

＞＞4
係数の0.5はどう読むん？1時間で確率が0.5上がる、ではないやろ

6: 名無しさん

＞＞5
確率やなくてオッズ（ $p / (1 - p)$ ）で読む。 $x$ が1増えるとオッズが $e^{0.5} \approx 1.65$ 倍になる
8時間でオッズ1、10時間でオッズ $e^{1} \approx 2.72$ 。確率そのものの増え方は、 $p$ が0.5の近くで一番大きくて、0や1の近くでは小さい

7: 名無しさん

多クラス分類は、3つ以上のクラスから1つを選ぶ分類
犬・猫・鳥の3クラスなら、クラスごとに $z$ を作って、ソフトマックス関数で合計1の確率に直す

p_{k} = \frac{e ^{z_{k}}}{\sum _{j} e ^{z_{j}}}

$z = (2, 1, 0)$ なら、 $e^{2} \approx 7.39$ 、 $e^{1} \approx 2.72$ 、 $e^{0} = 1$ で、確率は約 0.67, 0.24, 0.09

8: 名無しさん

＞＞7
2クラス用のロジスティック回帰を、クラスごとに「そのクラスか、それ以外か」で何本も作るやり方もある（one-vs-rest）
ソフトマックスなら1つのモデルで、確率の合計がちゃんと1になる

9: 名無しさん

＞＞3
しきい値はいつも0.5でええの？

10: 名無しさん

＞＞9
目的しだい。病気の見落としを減らしたいならしきい値を下げて「陽性」を多めに出す。そのぶん、病気でない人まで陽性と判定する数は増える

管理人のひとこと

ロジスティック回帰は重みつきの和 $z$ をシグモイド関数 $p = 1/ (1 + e^{- z})$ で0〜1にし、確率として読む。確率を予測するので回帰、しきい値で区切って分類に使う。
$z = - 4 + 0.5 x$ なら、6時間で $p \approx 0.27$ 、8時間で0.5、10時間で約0.73。
係数はオッズで読む。 $x$ が1増えるとオッズが $e^{0.5} \approx 1.65$ 倍。
多クラス分類はソフトマックス関数で合計1の確率にする（ $z = (2, 1, 0)$ で約0.67, 0.24, 0.09）。one-vs-rest で2クラスのモデルを並べるやり方もある。しきい値は目的に合わせて決める。

【疑問】ロジスティック「回帰」やのに分類に使うのはなんで？確率の出し方と多クラス分類【G検定】

管理人のひとこと

関連スレ