分类问题是人工智能领域中最常见的一类问题之一,掌握合适的评价指标,对模型进行恰当的评价,是至关重要的。
同样地,分割问题是像素级别的分类,除了mAcc、mIoU之外,也可以采用分类问题的一些指标来评价。
本文对分类问题的常见评价指标进行介绍,并附上利用sklearn库的python实现。
将从以下三个方面分别介绍:
- 常用评价指标
- 混淆矩阵绘制及评价指标计算
- ROC曲线绘制及AUC计算
1. 常用评价指标
混淆矩阵(confusion matrix)
一般用来描述一个分类器分类的准确程度。
根据分类器在测试数据集上的预测是否正确可以分为四种情况:
- TP(True Positive)——将正类预测为正类数;
- FN(False Negative)——将正类预测为负类数;
- FP(False Positive)——将负类预测为正类数;
- TN(True Negative)——将负类预测为负类数。
构成一个二分类的混淆矩阵如图:
均交并比(Mean Intersection over Union,mIoU):
为语义分割的标准度量。其计算两个集合的交并比,在语义分割的问题中,这两个集合为真实值(ground truth)和预测值(predicted segmentation)。
分类问题评价指标
二分类问题经混淆矩阵的处理后,针对不同问题,可以选用不同的指标来评价系统。
- Accuracy:表示预测结果的精确度,预测正确的样本数除以总样本数;
- Precision:准确率,表示预测结果中,预测为正样本的样本中,正确预测为正样本的概率;
- Sensitivity:灵敏度,表示在原始样本的正样本中,最后被正确预测为正样本的概率;
- Specificity:常常称作特异性,它研究的样本集是原始样本中的负样本,表示的是在这些负样本中最后被正确预测为负样本的概率;
- F1-score:表示的是precision和recall的调和平均评估指标。
受试者工作特征(Receiver Operating Characteristic,ROC)曲线
ROC曲线是以真阳性率(TPR)为Y轴,以假阳性率(FPR)为X轴做的图。同样用来综合评价模型分类情况。是反映敏感性和特异性连续变量的综合指标。
AUC(Area Under Curve)
AUC的值为ROC曲线下与x轴围成的面积,分类器的性能越接近完美,AUC的值越接近。当0.5>AUC>1时,效果优于“随机猜测”。一般情况下,模型的AUC值应当在此范围内。
2. 混淆矩阵绘制及评价指标计算
首先是分类器的训练,以sklearn库中的基础分类器为例
import numpy as np
import pandas as pd
from sklearn.svm import SVC, LinearSVC
from sklearn import metrics
from sklearn.metrics import confusion_matrix
import seaborn as sns
import matplotlib.pyplot as plt
clf = LinearSVC()
clf.fit(train_features, train_target)
predict = clf.predict(test_features)
# 绘制混淆矩阵和评价指标计算
cal(test_target, pred)
# 获取分类score
score = clf.decision_function(test_features)
# 绘制ROC曲线和计算AUC
paint_ROC(test_target, test_score)
混淆矩阵的绘制和评价指标计算可以写在一起,在绘制混淆矩阵时,已经可以算出TP\TN\FP\FN的数值。
# 这是一个多分类问题,y_true是target,y_pred是模型预测结果,数据格式为numpy
def cal(y_true, y_pred):
# confusion matrix row means GT, column means predication
name = 'save_name'
'''画混淆矩阵'''
mat = confusion_matrix(y_true, y_pred)
da = pd.DataFrame(mat, index = ['0', '1', '2'])
sns.heatmap(da, annot =True, cbar = None, cmap = 'Blues')
plt.title(name)
# plt.tight_layout()yt
plt.ylabel('True Label')
plt.xlabel('Predict Label')
plt.show()
plt.savefig('{}/{}.png'.format('save_path', name)) # 将混淆矩阵图片保存下来
plt.close()
'''计算指标'''
tp = np.diagonal(mat) # 每类的tp
gt_num = np.sum(mat, axis=1) # axis = 1 指每行 ,每类的总数
pre_num = np.sum(mat, axis=0)
fp = pre_num - tp
fn = gt_num - tp
num = np.sum(gt_num)
num = np.repeat(num, gt_num.shape[0])
gt_num0 = num - gt_num
tn = gt_num0 -fp
recall = tp.astype(np.float32) / gt_num
specificity = tn.astype(np.float32) / gt_num0
precision = tp.astype(np.float32) / pre_num
F1 = 2 * (precision * recall) / (precision + recall)
acc = (tp + tn).astype(np.float32) / num
print('recall:', recall, '\nmean recall:{:.4f}'.format(np.mean(recall)) )
print('specificity:', specificity, '\nmean specificity:{:.4f}'.format(np.mean(specificity)))
print('precision:', precision, '\nmean precision:{:.4f}'.format(np.mean(precision)))
print('F1:', F1 , '\nmean F1:{:.4f}'.format(np.mean(F1)))
print('acc:', acc , '\nmean acc:{:.4f}'.format(np.mean(acc)))
混淆矩阵如图所示:
3. ROC曲线绘制及AUC计算
# 这是一个多分类问题(三分类),可以在一张图上绘制多条ROC曲线
def paint_ROC(y_test, y_score):
'''画ROC曲线'''
plt.figure()
# 修改颜色
colors = ['','darkred', 'darkorange', 'cornflowerblue']
fpr = dict()
tpr = dict()
roc_auc = dict()
# print('label',y_test)
# print('score', y_score)
label = np.zeros((len(y_test), 3), dtype="uint8")
for i in range(len(y_test)):
label[i][int(y_test[i])-1] = 1
# print('label',label)
for i in range(1,4):
fpr[i], tpr[i], _ = metrics.roc_curve(label[:,i-1], y_score[:, i-1])
roc_auc[i] = metrics.auc(fpr[i], tpr[i])
fpr["mean"], tpr["mean"], _ = metrics.roc_curve(label.ravel(), y_score.ravel())
roc_auc["mean"] = metrics.auc(fpr["mean"], tpr["mean"])
lw = 2
plt.plot(fpr["mean"], tpr["mean"],
label='average, ROC curve (area = {0:0.2f})'
''.format(roc_auc["mean"]),
color='k', linewidth=lw)
for i in range(1,4):
auc = roc_auc[i]
# 输出不同类别的FPR\TPR\AUC
print('label: {}, fpr: {}, tpr: {}, auc: {}'.format(i, np.mean(fpr[i]), np.mean(tpr[i]), auc))
plt.plot(fpr[i], tpr[i], color=colors[i],linestyle=':',lw = lw, label='Label = {0}, ROC curve (area = {1:0.2f})'.format(i, auc))
plt.plot([0, 1], [0, 1], color='navy', linestyle='--')
plt.xlim([0.0, 1.05])
plt.ylim([0.0, 1.05])
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
# plt.title('Receiver operating characteristic example')
plt.grid(linestyle='-.')
plt.grid(True)
plt.legend(loc="lower right")
plt.show()
# 保存绘制好的ROC曲线
plt.savefig('{}/{}.png'.format('save_path', 'save_name'))
plt.close()
ROC曲线如图所示: