评价指标

准确率、召回率和F1

分类结果混淆矩阵如下

分类结果	正例	反例
正例	TP(真正例)	FN(假反例)
反例	FP(假正例)	TN(真反例)

T: True
F: False
P: Positive
N: Negtive

P = T P T P + F P R = T P T P + F N F 1 = 1 1 P + 1 R = 2 P R P + R

准确率: P
召回率: R
F1: F1度量

P-R曲线：横轴为P，纵轴为R

比较A与B两个学习器的高低，一个比较合理的判据是比较P-R曲线下的面积的大小，它在一定程度上表征了学习器在准确率和召回率上取得相对双高的比例。但这个值不大容易估算，因此，选用平衡点来度量。

平衡点（Break Event Point, BEP）: P=R时的取值

ROC, Receiver Operating Characteristic 受试者工作特征

AUC, Area under curve

在进行学习器的比较时，与P-R图类似，若一个学习期的ROC曲线被另一个学习器的曲线完全包住，则可以断言后者的性能优于前者；若两个学习器的ROC曲线发生交叉，则难以一般性的断言两者孰优孰劣。此时如果一定要进行比较，则较为合理的判据是比较ROC曲线下的面积，即AUC。

ROC（Receiver Operating Characteristic）曲线和AUC常被用来评价一个二值分类器（binary classifier）的优劣

T P R = T P T P + F N F P R = F P F P + T N

真正例率：True Positive Rate
假正例率：False Positive Rate

ROC曲线：横轴是FPR，纵轴是TPR

比较A与B两个学习器的优劣，比较为合理的判据是比较ROC曲线下的面积，即AUC。

y⎯⎯ : 所有样本y的平均值

ŷ i : 样本 yi 的估计值

T S S = \sum i m (y i - y ⎯ ⎯) 2

即样本的伪方差的m倍

R S S = \sum i m (y ̂ i - y i) 2

R 2 = 1 - R S S T S S

R2 越大，拟合效果越好

R2 的最优值为1，若模型预测为随机值，则该值可能为负

若预测值恒为样本期望，则 R2 为0

E S S = \sum i m (y ̂ i - y ⎯ ⎯) 2

只有在无偏估计时， TSS=ESS+RSS ，否则， TSS≥ESS+RSS

ESS又称回归平方和SSR(Sum of Squares for Regression)