データ分析の罠。シンプソンのパラドックスと p値ハッキングを知っておくと、分析の落とし穴を避けられます。
白峰 リリ
シンプソンのパラドックスって、よく聞くやつだよね?
神楽 モニカ 先生
そう、シンプソンのパラドックスは『全体の傾向と、層別したときの傾向が逆になる』現象よ。
紅林 かえで
古典的な例: ある大学の入試データで、男女別にすると男性合格率の方が低いのに、全体だと男性の合格率の方が高い、みたいな逆転が起きる。 学部別に層化したら『どの学部でも女性の方が合格しやすい』『けれど女性は難関学部に集中していたから全体合格率が低くなった』という構造。
藍沢 しずく
うぅ〜ん、数字のマジックみたいですねぇ…
白峰 リリ
これって、どう対策すればいいの?
神楽 モニカ 先生
層別比較を必ず行うこと。 全体集計だけで結論を出すと逆向きの結論になりかねない。 ドメイン知識でどの変数が層化要因(交絡)になりうるかを考えるのが大事。
紅林 かえで
p値ハッキング(p-hacking)は『p<0.05 になるまで分析を変える行為』。 多重検定の補正をしない、サブグループを次々試す、外れ値を恣意的に除外する等で発生。
藍沢 しずく
えぇっ、わざとやっちゃう人もいるんですかぁ?
紅林 かえで
意図しなくても、結果を見てから手法を選ぶと自然に発生する。 これを{kw('HARKing')}(Hypothesizing After Results are Known)と呼ぶ。 仮説と分析計画は事前に決めておくのが対策。
白峰 リリ
プレレジストレーションっていうのを使うんだよね?
神楽 モニカ 先生
そう、研究計画と分析手順を事前登録(Pre-registration)しておけば、後から都合よく変えられない。 学術界では標準化が進んでいる。
紅林 かえで
DS検定★では『シンプソンのパラドックスは層別で逆転』『p値ハッキングはp<0.05になるまで試行錯誤』『プレレジ・HARKingの概念』が頻出。
確認クイズ
p値ハッキング(p-hacking)を防ぐ最も効果的な方法はどれか。
- p<0.05 になるまで様々な分析を試す
- 分析計画と仮説を事前にプレレジストレーション(事前登録)する
- サンプルサイズを大幅に増やす
- 結果を公表せず保管する
こたえを見る
正解: 2. 分析計画と仮説を事前にプレレジストレーション(事前登録)する
分析計画と仮説を事前にプレレジストレーションするのが本質的対策。 後から手法を変えられないため、結果に都合よく分析を歪める余地がなくなります。 学術界では標準的な慣行となりつつあります。
