1: 名無しさん
回帰の評価で、MSE・RMSE・MAEのどれを使えばええか分からん
あとAICとBICも出てくる
【疑問】MSEとRMSEとMAE、どれで評価すればええん？AIC・BIC・オッカムの剃刀も【G検定】
2: 名無しさん
前提のおさらい。モデルの成績は、学習に使ってないデータで測る。分類なら正解率や適合率・再現率を使うけど、数値を当てる回帰では「どれくらい外れたか」で測る
3: 名無しさん
＞＞1
予測の外れ（誤差）が 1, −1, 2, −2 の4件で計算すると
平均二乗誤差（MSE）：
二乗平均平方根誤差（RMSE）：
平均絶対値誤差（MAE）：
RMSEとMAEは、もとのデータと同じ単位になる
4: 名無しさん
＞＞3
ここに外れが10の1件を足すと
MSE：、RMSE：約4.69、MAE：
2乗するMSE・RMSEは大きな外れに強く反応して、MAEはあまり動かん
5: 名無しさん
＞＞4
じゃあ外れ値に強いMAEを使っとけばええんちゃう？
6: 名無しさん
＞＞5
大きく外すのが特に困る場面（在庫の予測で大外しすると大損、とか）なら、むしろRMSEで大きな外れを重く見たほうがええ
外れ値が入力ミスみたいなもんで気にしたくないならMAE。何を困るとするかで選ぶ
7: 名無しさん
AICとBICは、当てはまりのよさとモデルの複雑さをまとめて比べる指標。小さいほどええ
は尤度（当てはまりのよさ）、 はパラメータの数、 はデータの数
8: 名無しさん
＞＞7
数字で比べる。モデルAは で 、モデルBは で
AIC：Aは206、Bは208でA
BIC（）：Aは約213.8、Bは約223.6でA
Bのほうが当てはまりは少しええけど、パラメータを3つ増やしたほどの得はない、という判断。BICは が大きいほど複雑さの罰が重い
9: 名無しさん
＞＞8
それって要するに、オッカムの剃刀やな
「同じくらい説明できるなら、仮定の少ない単純なほうを選べ」という考え方。複雑なモデルは学習データには合いやすいけど、過学習しやすい
10: 名無しさん
＞＞9
単純なほうがいつも正しい、って意味やないで。データが本当に複雑なら、単純すぎるモデルは外れ続ける。AICもBICも、複雑にした得が罰より大きければ複雑なほうを選ぶ
管理人のひとこと
- 誤差 1, −1, 2, −2 なら、MSE 2.5、RMSE 約1.58、MAE 1.5。外れ10を足すと MSE 22、RMSE 約4.69、MAE 3.2 で、2乗する指標は大きな外れに強く反応する。
- 大外しが特に困るならRMSE、外れ値を気にしたくないならMAEを選ぶ。
- AIC 、BIC で小さいほどよい。例では AIC 206対208、BIC 約213.8対223.6 でどちらもA。
- オッカムの剃刀：同じくらい説明できるなら単純なほうを選ぶ。複雑にした得が罰より大きければ複雑なほうが選ばれる。