图像分割常用的性能测试指标
图像分割性能评估方法,主要从文本检索中借鉴而来。因为我们可以将分割的像素点根据是否有无标记,映射到文本的相关性与否上来,这样就可以将文本检索中的性能评估引入到图像分割性能评估中。文本检索中两个重要指标分别是precision/准确率和recall/回归率。
以这两个指标为基础,并总结参考文章,图像分割性能评估主要有以下几种指标。
1. AP(Average Precision)
以recall为横坐标(0~1),precision为纵坐标(0~1)作图。得到一条曲线。该曲线下的面积即为AP。
该图上红色曲线的覆盖面积最大,其对应算法的结果性能在几种算法中最优。
对所有类别求平均值,得到MAP。
其中Q为类别数。
举例:如在《Learning Rich Feartures from rgbd images for object detection & segmentation》中,作者采用的评估策略就是AP。
同时,Fmax指的就是F-Measure,其计算公式为:
其中 B是参数,P是精确率(Precision),R是召回率(Recall)。
2. IU / IoU(Intersection over Union)
对于两个区域R和R’,其overlap计算如下:
其covering指标计算为:
举例:《 Fully Convolutional Networks for Semantic Segmentation》中使用IU指标。
此外,在《Selective Search》中还使用了ABO指标如下。可以看到其本质上就是IoU。
对于每个固定的类别c,每个真实情况(ground truth)表示为 ,令计算得到的位置假设L中的每个值l,那么 ABO的公式表达为:
重叠率的计算方式:
上面结果给出的是一个类别的ABO,对于所有类别下的性能评价,很自然就是使用所有类别的ABO的平均值MABO(Mean Average Best Overlap)来评价。
3. 其他指标
上述两项比较常用,大家普遍采用。还有一些评估策略,如PRI等。列出如下。
具体可参考论文《Measures and Meta-Measures 2013 CVPR paper》
-------------------
参考文献
[1] Measures and Meta-Measures for the Supervised Evaluation of Image Segmentation.">Jordi Pont-Tuset and Ferran Marques Universitat Politecnica de Catalunya BarcelonaTech
[2] Scene Parsing with Object Instances and Occlusion Ordering. Joseph Tighe Marc Niethammer Svetlana Lazebnik
[3] Contour Detection and Hierarchical Image Segmentation.>Pablo Arbelaez, ´ Member, IEEE, Michael Maire, Member, IEEE,Charless Fowlkes, Member, IEEE, and Jitendra Malik, Fellow, IEEE.
[4] Simultaneous Detection and Segmentation.Bharath Hariharan1,
Pablo Arbel´aez1,2,
Ross Girshick1, and Jitendra Malik.