目录
Intersection Over Union(IOU)
目标检测中的TP、FP、FN、TN
AP指标
mAP指标
AP50、AP@50:5:95指标
实际应用场景下的指标
参考资料
|
Intersection Over Union(IOU) |
绿色框是ground-truth，红色框是预测框体，IOU=相交的面积/相并的面积
|
目标检测中的TP、FP、FN、TN |
TP：对ground-truth框正确的检测（分类正确、预测框体与GT框体的IOU大于预设的阈值）
FP：对不存在的东西做了错的预测 或者 预测的IOU小于预设阈值
FN：漏检测
关于TN，在目标检测里是不考虑TN的，因为他有无数个（一张图片可以画无数个框）
因此，所有涉及到TN的指标，如TPR, FPR 和ROC curves都不会在目标检测里使用。
常用的是精确率和召回率：
P追求的精确，R追求的是召回，所以要在P和R之间要做一个平衡，可以使用AP指标
|
AP指标 |
先从简单的单类别目标检测来说
假设一共有7张图片，绿色框是GT（15个），红色框是预测框（24个）并带有置信度
现在假设IOU=30%，按照置信度排序得到下表
其中TP表示预测正确、FP表示预测错误、acc TP表示从头到该位置累计正确个数、precision表示从头到该位置的精确率、recall表示从头到该位置的召回率。
下图表示的就是从头到尾，依次加入新的样本时，P和R的变化情况：
AP的计算有两种方式：AP11和APall：
先说AP11：
蓝色线就是前面那张PR图，红点的横坐标有11种取值：【0,0.1,...,0.9,1】，纵坐标的取值为右侧蓝色线最高的值。AP11就是11个红点的纵坐标的均值，即：
再说APall：
蓝色线就是前面那张PR图，红色虚线的纵坐标是单调减小的，每次减小到右侧蓝线的最高点。APall就是红色虚线下方的面积，即：
关于AP的计算常常使用的是AP11.
|
mAP指标 |
如果是多类别目标检测任务，就要使用mean AP(mAP)，其定义为：
即，对所有的类别进行AP的计算，然后取均值
|
AP50、AP@50:5:95指标 |
AP50指的是IOU的值取50%，AP70同理
AP@50:5:95指的是IOU的值从50%取到95%，步长为5%，然后算在在这些IOU下的AP的均值
|
实际应用场景下的指标 |
该业务下，ACC的权重为0.2，mAP的权重为0.8
AP的计算即为：AP@10:20:50
|
参考资料 |
Padilla R, Netto S L, da Silva E A B. A survey on performance metrics for object-detection algorithms[C]//2020 International Conference on Systems, Signals and Image Processing (IWSSIP). IEEE, 2020: 237-242.