閾値を変えながらモデル全体の性能を可視化、ROC曲線とAUC。
白峰 リリ
F1の他にも『AUC』ってよく聞くね。
何が違うの?
神楽 モニカ 先生
AUCはROC曲線の下面積で、閾値に依存しないモデル全体の性能指標よ。
紅林 かえで
ROC曲線は、閾値を変えながら横軸にFPR(偽陽性率)、縦軸にTPR(真陽性率=Recall)をプロットした曲線なの。 左上に近づくほど良いモデルね。
藍沢 しずく
FPRって、なんですかぁ?
紅林 かえで
FPR = FP/(FP+TN) = 『陰性のうち誤って陽性と判定した割合』。 1-特異度とも呼ぶ。
白峰 リリ
AUC=Area Under the Curve だね。 範囲は?
神楽 モニカ 先生
0〜1の範囲で、0.5=ランダム、1.0=完璧。 通常0.7以上で実用的、0.9以上で優秀とされるのよ。
紅林 かえで
AUCの面白い解釈として『ランダムに選んだ陽性サンプルのスコアが、ランダムに選んだ陰性サンプルのスコアより高い確率』とも言えるの。
藍沢 しずく
へぇ〜!
深いですぅ。
白峰 リリ
F1とAUC、どっちを使うの?
神楽 モニカ 先生
F1は特定の閾値での性能、AUCは閾値全体に渡る性能。 モデル比較ではAUCが便利、運用閾値が決まっているならF1で評価する、と使い分けるのよ。
紅林 かえで
類似指標としてPR曲線(Precision-Recall曲線)もある。 不均衡データではPR曲線の方が役立つわ。
紅林 かえで
DS検定では『AUCは閾値非依存』『AUC=0.5はランダム、1.0は完璧』『左上に近いほど良い』が頻出よ。
確認クイズ
AUCの値として正しい解釈はどれか。
- AUC=0.5 は完璧なモデル
- AUC=1.0 はランダム予測と同等
- AUC=0.5 はランダム予測と同等
- AUCは0〜100の値を取る
こたえを見る
正解: 3. AUC=0.5 はランダム予測と同等
AUC=0.5 はランダム予測と同等です。 AUCは0〜1の範囲で、0.5=ランダム、1.0=完璧、0.5未満は『逆の予測をしているのでラベル反転すべき』状態を意味します。
