PR曲线,ROC曲线,AUC指标等,Accuracy vs Precision

时间:2021-12-17 09:39:07

作为机器学习重要的评价指标,标题中的三个内容,在下面读书笔记里面都有讲:

http://www.cnblogs.com/charlesblc/p/6188562.html

 

但是讲的不细,不太懂。今天又理解了一下。看了这篇文章:

https://www.douban.com/note/247271147/?type=like

讲的很好。

 

都是基于这张图,先贴一下:

PR曲线,ROC曲线,AUC指标等,Accuracy vs Precision

 

PR

PR曲线,ROC曲线,AUC指标等,Accuracy vs Precision

 

Precision-Recall曲线,这个东西应该是来源于信息检索中对相关性的评价吧,precision就是你检索出来的结果中,相关的比率;recall就是你检索出来的结果中,相关的结果占数据库中所有相关结果的比率;所以PR曲线要是绘制的话,可以先对decision进行排序,就可以当作一个rank值来用了,然后把分类问题看作检索问题,当返回一个结果的时候的PR pair是多少(R肯定接近0,P理论上接近1),2个、3个、一直到你所有的检测样本都包含;所以假设你的测试样本有100个,是不是会返回100个precision-recall点呢?然后把这些点绘制出来,就得到了PR曲线;

所以,PR曲线的采点是按照样本的数量采的。注意,这一条PR曲线的绘制只对应一个p_0值(也就是下面说的分类阈值,当回归结果高于这个阈值时判定为正类),所以往往先选择最优的p_0,再绘制不同model的PR曲线,比较model的优劣。

 

ROC

receiver operating characteristic curve

 

PR曲线,ROC曲线,AUC指标等,Accuracy vs Precision

 

要看ROC的原理,总离不开上面这个表格,ROC绘制的就是在不同的阈值p_0(同上面的分类阈值)下,TPR和FPR的点图。所以ROC曲线的点是由不同的p_0所造成的。所以你绘图的时候,就用不同的p_0采点就行。

 

可以看出TPR和Recall的形式是一样的,就是查全率了FPR就是保证这样的查全率你所要付出的代价就是把多少负样本也分成了正的了

 

对比PR图和ROC图

PR曲线,ROC曲线,AUC指标等,Accuracy vs Precision

 

AUC

Area Under Curve

AUC就是ROC曲线下方的面积。可以知道,TPR越大的情况下,FPR始终很小,才是好的,那么这条曲线就是很靠近纵轴的曲线,那么下方面积就大。所以AUC越大越好。

 

意义:

通过ROC曲线,也能够在查全率和查准率之间做一个平衡,分类时候来选择出最好的p_0阈值

而即使不需要二分类选阈值,比如LR回归,不把阈值作为点击或者不点击的区分标准,而是作为排序的一个因子,AUC也能够起到很好的参考意义。AUC面积越大,说明算法和模型准确率越高越好。

在比较两种学习器的时候,如果一个被另一个完全包住,那么大的那个好。如果两个有交叉,一般而言,面积大的那个好。当然不排除有具体的案例,需要根据代价敏感性(对于查全查准)的特殊需求,来比较。

 

Accuracy 和 Precision的区别

如果硬要区分 Accuracy 和 Precision,

那么 Accuracy就是 (TP+TN)/P+N,也就是所有正确的;

而Precision不是,P指的是 TP/(TP+FP),也就是预测成正例的情况,有多少比例是真的正例。