混淆矩阵
精准率/查准率，presicion 预测为正的样本中实际为正的概率
召回率/查全率，recall 实际为正的样本中被预测为正的概率 TPR
F1分数，同时考虑查准率和查全率，二者达到平衡，=2*查准率*查全率/（查准率+查全率）
真正率 = 灵敏度 sensitivity 召回率 TP/TP+FN ，只关注正样本中有多少被准确预测
假正率 = 1- 特异度 = FP/（FP+TN），有多少负样本被错误预测
在正负样本足够的情况下，可以用ROC曲线、AUC、KS评价模型区分能力和排序能力，在确定阈值后，可以根据精准率、召回率、F1评价模型效果
KS反映模型的最优区分效果，定义为好坏的最优阈值。
AUC是评估模型排序能力的指标，logloss是评估准确度的指标，用来排序的依据是概率值
auc值是一个概率值，意味着正样本排在负样本前面的概率
roc,auc,ks评估模型，这几个指标对于比例失衡的数据 是相对比较客观的评估指标。
- roc 曲线
横坐标是假正率，纵坐标是真正率.roc曲线尽可能的靠近左上边(0,1)的位置，效果越好
(0,0):真正率和假正率都是0，所有样本全部预测为负样本
(1,1):真正率和假正率都是1，所有样本全部预测为正样本
(0,1):真正率为1，假正率为0，正样本全部预测正确，负样本全部预测正确最完美的
情况
(1,0):真正率为0，假正率为1，正样本全部预测错误，负样本全部预测正确
confusion matrix
roc_curve
- AUC曲线
ROC曲线下的面积，常介于0.5和1之间(极端情况下低于0.5)，可以直观的评价分类器的好
坏，值越大越好。
AUC值是一个概率值，当你随机挑选一个坏样本以及好样本，当前的分类算法根据计算得
到的概率值将这个
坏样本排在好样本前面的概率就是AUC值，AUC值越大，当前分类算法越有可能将坏样本
排在好样本前面，从而能够更好地分类。
AUC的常用阈值 >0.7;有很强的区分度 0.6~0.7;有一定的区分度 0.5~0.6,有较弱的区分度;
低于0.5,区分度弱于随机猜测
- KS曲线
ks值大于0.3说明模型的区分里比较好，ks值大于0.2模型可用，但是区分力较差;ks值小 于0.2大于0，模型的区分力差不可用; 如果ks值为负数，说明评分与好坏程度相悖，模型出现错误。ks指标的缺点是:只能表示 区分度最好的分数的区分度，不能衡量其他分数。
