图像分割常用的性能测试指标

时间:2024-04-08 09:30:36

图像分割常用的性能测试指标

图像分割性能评估方法,主要从文本检索中借鉴而来。因为我们可以将分割的像素点根据是否有无标记,映射到文本的相关性与否上来,这样就可以将文本检索中的性能评估引入到图像分割性能评估中。文本检索中两个重要指标分别是precision/准确率和recall/回归率。


图像分割常用的性能测试指标

图像分割常用的性能测试指标


以这两个指标为基础,并总结参考文章,图像分割性能评估主要有以下几种指标。


1. AP(Average Precision)


图像分割常用的性能测试指标


以recall为横坐标(0~1),precision为纵坐标(0~1)作图。得到一条曲线。该曲线下的面积即为AP。


图像分割常用的性能测试指标


该图上红色曲线的覆盖面积最大,其对应算法的结果性能在几种算法中最优。


对所有类别求平均值,得到MAP。


 图像分割常用的性能测试指标


其中Q为类别数。


举例:如在《Learning Rich Feartures from rgbd images for object detection & segmentation》中,作者采用的评估策略就是AP。


 图像分割常用的性能测试指标


同时,Fmax指的就是F-Measure,其计算公式为:


图像分割常用的性能测试指标 


其中 B是参数,P是精确率(Precision),R是召回率(Recall)。


2. IU / IoU(Intersection over Union)


对于两个区域R和R’,其overlap计算如下:


图像分割常用的性能测试指标 


其covering指标计算为:


图像分割常用的性能测试指标 


举例:《 Fully Convolutional Networks for Semantic Segmentation》中使用IU指标。



图像分割常用的性能测试指标 


此外,在《Selective Search》中还使用了ABO指标如下。可以看到其本质上就是IoU。


对于每个固定的类别c,每个真实情况(ground truth)表示为 ,令计算得到的位置假设L中的每个值l,那么 ABO的公式表达为:


图像分割常用的性能测试指标 


重叠率的计算方式:


图像分割常用的性能测试指标 


上面结果给出的是一个类别的ABO,对于所有类别下的性能评价,很自然就是使用所有类别的ABO的平均值MABO(Mean Average Best Overlap)来评价。


3. 其他指标


上述两项比较常用,大家普遍采用。还有一些评估策略,如PRI等。列出如下。


图像分割常用的性能测试指标 


具体可参考论文《Measures and Meta-Measures 2013 CVPR paper》


-------------------

参考文献

[1] Measures and Meta-Measures for the Supervised Evaluation of Image Segmentation.">Jordi Pont-Tuset and Ferran Marques Universitat Politecnica de Catalunya BarcelonaTech 

[2] Scene Parsing with Object Instances and Occlusion Ordering. Joseph Tighe Marc Niethammer Svetlana Lazebnik

[3] Contour Detection and Hierarchical Image Segmentation.>Pablo Arbelaez, ´ Member, IEEE, Michael Maire, Member, IEEE,Charless Fowlkes, Member, IEEE, and Jitendra Malik, Fellow, IEEE.

[4] Simultaneous Detection and Segmentation.Bharath Hariharan1, Pablo Arbel´aez1,2, Ross Girshick1, and Jitendra Malik.