収入の調査で、回答しなかった人を除いて平均を出した。これって偏るん?
【疑問】欠測のあるデータ、欠けた行を消して分析したらあかんの?MCAR・MAR・MNARの違い【統計検定1級】
前提のおさらい。尤度は、観測したデータが出る確率(密度)を母数の関数として見たもの。欠測があると「どのデータが観測されたか」もデータの一部になる
>>1
欠け方で3つに分ける。 を「回答したか」とすると
MCAR: が何にもよらない(完全に無作為)
MAR: が観測された変数(世代など)にはよるが、欠けた値そのものにはよらない
MNAR: が欠けた値そのもの(収入の高さ)による
数字で。若い世代と上の世代が半々、平均収入は300と500(万円)。全体の平均は400
MCAR:どの層も20%が無回答。残った人の平均は400のままで、偏らない
MAR:若い世代は60%、上の世代は90%が回答すると、。20高く出る
>>4
MARなら直せる。層ごとの平均を出してから、母集団の構成(半々)で重みをつけて足せば
回答率の逆数で重みをつける、と言っても同じこと。若い世代の回答者は 、上の世代は 人分として数える
>>3
MNARやとどうするん
>>6
観測したデータだけでは直せない。収入が高い人ほど答えない、という仕組みの強さはデータに出てこないから
欠測の仕組みについて仮定を置いて、仮定を変えると結果がどれだけ動くかを示す(感度分析)くらいしかできない
>>5
それなら全部MARと思って重みをつければええやん
>>8
MARかMNARかは、観測したデータからは判定できない。MARは「世代で条件づければ、答えるかどうかは収入と関係ない」という仮定で、確かめようがない
だから関係しそうな変数をできるだけ集めて、MARに近づけるのが設計の工夫
>>3
尤度で推定するなら、MARのときは欠測の仕組みをモデルに入れなくていい(無視可能)。観測された部分の尤度だけで最尤推定すれば、偏りが出ない
>>10
行ごと消す完全ケース解析が偏らないのはMCARのときだけ。MARでも、欠測に関わる変数を条件に入れた回帰なら偏らないことはあるけど、平均を出すだけなら偏る
MCARは消してもいい、MARは観測変数で直せる、MNARはデータだけでは直せない、MARかどうかは確かめられない。この4つで説明できるな
管理人のひとこと
- MCAR:欠測が何にもよらない。MAR:観測された変数だけによる。MNAR:欠けた値そのものによる。
- 例(2層、平均300と500):MCARでは完全ケースの平均400で偏らず、MAR(回答率60%と90%)では420。層ごとの平均を構成比で重みづけすると400に戻る。
- MNARは観測データだけでは直せず、感度分析で示す。MARかどうかはデータから判定できない。MARなら尤度による推定で欠測の仕組みを無視できる。