【疑問】非線形回帰で、対数をとって直線にするのと反復法で当てはめるのとで答えが違うのはなんで？【統計検定1級】

11レスカテゴリ：統計・確率

1: 名無しさん

成長のデータに $y = a e^{b x}$ を当てはめよ、線形化と反復法の両方で、って問題

2: 名無しさん

前提のおさらい。線形のモデル $y = X β + ε$ なら、正規方程式 $X^{⊤} X \hat{β} = X^{⊤} y$ で一発で解ける。母数について線形なら、 $x$ について曲がっていても（ $x^{2}$ を入れるなど）この方法が使える

3: 名無しさん

＞＞1
$y = a e^{b x} + ε$ は、 $b$ が指数の中にあって、母数について線形でない。2つのやり方がある
線形化： $lo g y = lo g a + b x$ として、 $lo g y$ を $x$ に回帰する
非線形最小二乗： $\sum (y_{i} - a e^{b x_{i}})^{2}$ を直接最小にする

4: 名無しさん

数字で。 $x = 0, 1, 2, 3, 4$ 、 $y = 2.1, 3.0, 4.6, 6.4, 9.9$
線形化： $\overset{a}{^} \approx 2.078$ 、 $\hat{b} \approx 0.386$ 。元の目盛りの残差平方和は約0.090
非線形最小二乗： $\overset{a}{^} \approx 2.038$ 、 $\hat{b} \approx 0.393$ 。残差平方和は約0.079

5: 名無しさん

＞＞3
反復法の中身はガウス・ニュートン法。今の値 $θ^{(k)}$ のまわりでモデルを1次のテイラー展開して、線形回帰を解く

θ^{(k + 1)} = θ^{(k)} + (J^{⊤} J)^{- 1} J^{⊤} (y - f (θ^{(k)}))

$J$ はモデルを母数で微分した行列（ヤコビ行列）。線形化の値から始めると、この例では1回で $(2.038, 0.393)$ にほぼ届く

6: 名無しさん

＞＞4
どっちも同じモデルやのに、なんで答えが違うん

7: 名無しさん

＞＞6
誤差の入り方の仮定が違う。線形化は $lo g y$ の目盛りで等分散、つまり誤差が掛け算（ $y = a e^{b x} e^{ε}$ ）と仮定してる。非線形最小二乗は、誤差が足し算で等分散
$lo g$ の目盛りでは大きい $y$ の誤差が縮むから、線形化は大きい $y$ を軽く扱う。 $x = 4$ の予測が線形化で9.73、非線形で9.81と、大きいところで差が出る

8: 名無しさん

＞＞7
それなら非線形最小二乗のほうが正しいんやろ。いつもそっちを使えばええやん

9: 名無しさん

＞＞8
どっちが正しいかは誤差の性質で決まる。ばらつきが $y$ に比例して大きくなるなら、線形化（掛け算の誤差）のほうが合ってる。残差を見て決める
非線形最小二乗には別の弱みもある。初期値が悪いと収束しないか、局所解に止まる。線形化の値を初期値に使うのはそのため

10: 名無しさん

＞＞9
区間推定も、非線形では漸近的な近似になる。収束した点での $J$ を使って、 $s^{2} (J^{⊤} J)^{- 1}$ を分散の近似にする

11: 名無しさん

線形化は掛け算の誤差、非線形最小二乗は足し算の誤差、ガウス・ニュートンは1次近似で線形回帰をくり返す、初期値は線形化から。これで比べられるな

管理人のひとこと

$y = a e^{b x}$ は母数について非線形。線形化は $lo g y$ を回帰（誤差は掛け算）、非線形最小二乗は $\sum (y - a e^{b x})^{2}$ を直接最小化（誤差は足し算）。
例：線形化 $(2.078, 0.386)$ 、非線形 $(2.038, 0.393)$ 、残差平方和0.090と0.079。 $x = 4$ の予測は9.73と9.81。
ガウス・ニュートン法： $θ + (J^{⊤} J)^{- 1} J^{⊤} (y - f)$ をくり返す。初期値に線形化の値を使う。どちらが適切かは残差のばらつき方で決める。

【疑問】非線形回帰で、対数をとって直線にするのと反復法で当てはめるのとで答えが違うのはなんで？【統計検定1級】

管理人のひとこと

関連スレ