深度学习中的评价指标

0 分类问题评价指标

根据分类器在测试数据集上的预测或正确或不正确可以分为四种情况：
TP——将正类预测为正类数
FN——将正类预测为负类数
FP——将负类预测为正类数
TN——将负类预测为负类数

记忆方法：
T=True=+1            F=False=-1      （T和N并不是指代实际的是正类和负类）
P=Positive=+1      N=Negative=-1 （P和N指明了预测的是正类还是负类）
实际正例=+1         实际负例=-1

实际的正类和负类按照下面的方法：
TP的实际类别 = 1*1=1（实际正例）
FN的实际类别=-1*-1=1（实际正例）
FP的实际类别=-1*1=-1（实际负例）
TN的实际类别=1*-1=-1（实际负例）

因此：
TP+FN=实际正例的数量
TP+FP=预测正例的数量

准确率 accuracy=TP+TNP+N=正确分类数量样本总数=所有正例P+所有负例N $accuracy=\frac{TP+TN}{P+N}=\frac{正确分类数量}{样本总数=所有正例P+所有负例N}$

精确率 precision=TPTP+FP= $precision=\frac{TP}{TP+FP}=$被预测为正例的示例中实际为正例的比例

召回率 recall=TPTP+FN= $recall=\frac{TP}{TP+FN}=$所有实际正例中有多少正例被找到

精确率和召回率的调和均值 F1 $F_1$： 2F1=1precision+1recall $\frac{2}{F_1}=\frac{1}{precision}+\frac{1}{recall}$
即： F1=2TP2TP+FP+FN $F_1=\frac{2TP}{2TP+FP+FN}$

1 目标检测中的mAP

转自知乎许博雅的回答
1.对于某个类别C，在某一张图片上
首先计算C在一张图片上的Precision=在一张图片上类别C识别正确的个数（也就是IoU>0.5）/一张图片上类别C的总个数
PrecisionC=N(TruePositives)CN(TotalObjects)C $Precisio{n}_C=\frac{N(TruePositives{)}_C}{N(TotalObjects{)}_C}$

2.依然对于某个类别C，可能在多张图片上有该类别，下面计算类别C的AP指数：
AP=每张图片上的Precision求和/含有类别C的图片数目
AveragePrecisionC=∑PrecisionCN(TotalImages)C $AveragePrecisio{n}_C=\frac{\sum Precisio{n}_C}{N(TotalImages{)}_C}$

3.对于整个数据集，存在多个类别C1、C2、C3：
mAP=上一步计算的所有类别的AP和/总的类别数目
相当于所有类别的AP的平均值
MeanAveragePrecision=∑AveragePrecisionCN(classes) $MeanAveragePrecision=\frac{\sum AveragePrecisio{n}_C}{N(classes)}$

2 混淆矩阵

转自知乎松北wmh的回答
举个例子：
对一百张图片进行学习分类，其中包含 火星（50张），地球（30张），冰激凌（20张） 三个种类；
在算法学习过程中需要对每次的叠代分类结果进行精度评估，用到混淆矩阵这一工具。 如下图，每次叠代后列出当前各类别分类状态的混淆矩阵。

第一次叠代后混淆矩阵为：

第二次叠代后混淆矩阵为：

经过若干叠代，最终分类结果全部正确，混淆矩阵如下：

混淆矩阵的作用：
１）用于观察模型在各个类别上的表现，可以计算模型对应各个类别的准确率，召回率；
２）通过混淆矩阵可以观察到类别直接哪些不容易区分，比如Ａ类别中有多少被分到了Ｂ类别，这样可以有针对性的设计特征等，使得类别更有区分性；

分割线***********************************************************************************分割线
转自博客