ROC曲线以及评估指标F1-Score, recall, precision-整理版

时间:2022-12-07 11:15:38
  最近一直在看ROC曲线,查阅了一些资料,并进行了整理,文章结尾有原资料链接。希望能节约各位找资料的时间。
ROC(Receiver Operating Characteristic)曲线和AUC常被用来评价一个二值分类器(binary classifier)的优劣 。ROC曲线怎么来的呢,我们来看经典的混淆矩阵:
ROC曲线以及评估指标F1-Score, recall, precision-整理版

ROC曲线一般的横轴是FPR,纵轴是FPR。AUC为曲线下面的面积,作为评估指标,AUC值越大,说明模型越好。如下图:

ROC曲线以及评估指标F1-Score, recall, precision-整理版
当然还有其他的一些评估指标,常见的有:ROC、AUC、precision、recall、F1-score。下面是指标详细:

Terminology and derivations
from a  confusion matrix
true positive (TP)
eqv. with hit
true negative (TN)
eqv. with correct rejection
false positive (FP)
eqv. with  false alarmType I error
false negative (FN)
eqv. with miss,  Type II error

sensitivity or  true positive rate (TPR)
eqv. with  hit raterecall
ROC曲线以及评估指标F1-Score, recall, precision-整理版
specificity (SPC) or  true negative rate (TNR)
ROC曲线以及评估指标F1-Score, recall, precision-整理版
precision or  positive predictive value (PPV)
ROC曲线以及评估指标F1-Score, recall, precision-整理版
negative predictive value (NPV)
ROC曲线以及评估指标F1-Score, recall, precision-整理版
fall-out or  false positive rate (FPR)
ROC曲线以及评估指标F1-Score, recall, precision-整理版
false discovery rate (FDR)
ROC曲线以及评估指标F1-Score, recall, precision-整理版
miss rate or  false negative rate (FNR)
ROC曲线以及评估指标F1-Score, recall, precision-整理版

accuracy (ACC)
ROC曲线以及评估指标F1-Score, recall, precision-整理版
F1 score
is the  harmonic mean of  precision and  sensitivity
ROC曲线以及评估指标F1-Score, recall, precision-整理版
Matthews correlation coefficient (MCC)
ROC曲线以及评估指标F1-Score, recall, precision-整理版

Informedness = Sensitivity + Specificity - 1
Markedness = Precision + NPV - 1


以下是指标的介绍:感觉原博主讲的很好,我就不作修改了,复制粘贴排版会乱,就直接截图了。
ROC曲线以及评估指标F1-Score, recall, precision-整理版
ROC曲线以及评估指标F1-Score, recall, precision-整理版
ROC曲线以及评估指标F1-Score, recall, precision-整理版
参考来源:
http://www.w2bc.com/Article/88963
https://en.wikipedia.org/wiki/Receiver_operating_characteristic