ROC曲線とAUC
閾値非依存の性能指標、ROC曲線とAUC。 不均衡データのPR曲線も併せて学びます。
閾値を変えながらモデル全体の性能を可視化、ROC曲線とAUC。
胡桃 あんず
F1の他にも『AUC』ってよく聞くね。
何が違うの?
若葉 みどり 先生
AUCはROC曲線の下面積で、閾値に依存しないモデル全体の性能指標よ。
白銀 ゆき
ROC曲線は、閾値を変えながら横軸にFPR(偽陽性率)、縦軸にTPR(真陽性率=Recall)をプロットした曲線なの。 左上に近づくほど良いモデルね。
桜井 もも
FPRって、なんですかぁ?
白銀 ゆき
FPR = FP/(FP+TN) = 『陰性のうち誤って陽性と判定した割合』。 1-特異度とも呼ぶ。
胡桃 あんず
AUC=Area Under the Curve だね。 範囲は?
若葉 みどり 先生
0〜1の範囲で、0.5=ランダム、1.0=完璧。 通常0.7以上で実用的、0.9以上で優秀とされるのよ。
白銀 ゆき
AUCの面白い解釈として『ランダムに選んだ陽性サンプルのスコアが、ランダムに選んだ陰性サンプルのスコアより高い確率』とも言えるの。
桜井 もも
へぇ〜!
深いです。
胡桃 あんず
F1とAUC、どっちを使うの?
若葉 みどり 先生
F1は特定の閾値での性能、AUCは閾値全体に渡る性能。 モデル比較ではAUCが便利、運用閾値が決まっているならF1で評価する、と使い分けるのよ。
白銀 ゆき
類似指標としてPR曲線(Precision-Recall曲線)もある。 不均衡データではPR曲線の方が役立つわ。
白銀 ゆき
DS検定では『AUCは閾値非依存』『AUC=0.5はランダム、1.0は完璧』『左上に近いほど良い』が頻出よ。
確認クイズ
AUCの値として正しい解釈はどれか。
- AUC=0.5 は完璧なモデル
- AUC=1.0 はランダム予測と同等
- AUC=0.5 はランダム予測と同等
- AUCは0〜100の値を取る
こたえを見る
正解: 3. AUC=0.5 はランダム予測と同等
AUC=0.5 はランダム予測と同等です。 AUCは0〜1の範囲で、0.5=ランダム、1.0=完璧、0.5未満は『逆の予測をしているのでラベル反転すべき』状態を意味します。
この記事の関連書籍
Amazonアソシエイトリンクを含みます。他分野は おすすめ書籍ページ へ。
この記事について
データサイエンティスト検定スタディが作成した教材です。運営について・記事の作り方
試験についてはこちらをご覧ください: データサイエンティスト協会 公式サイト