若要评价某一变化检测技术的优劣,除了人眼对其产生的结果图主观评判之外,还需要把结果图和标准参考图相对比,并通过几个量化的指标来客观评判。变化检测任务本质上是一个分类问题,因此本文中使用相应分类的评价指标来衡量不同变化检测技术性能的优劣。
1.分类统计频率矩阵,错检数和漏检数
变化检测最终的结果是输出一幅能显示出未变类U和k个变化类C1,C2, ...,Ck的多值图。当k = 1时为二分类问题,当k ≥ 2时为多分类问题。我们将参考图中的分类称为真实类别,将利用某一种算法生成的结果图对应的分类称为估计类别。这样如果将结果图和参考图相对比,会得到一张行列数均为k + 1的分类统计频率统计表,表中的每一元素表示既属于某一参考类别又属于某一估计类别像素数量占全体的比例。这个统计表如表1.1所示。
为了方便后续参数的计算,我们可以省略表格的框线,将表格的内容写成一个矩阵的形式,这就是分类统计频率矩阵P,如下式所示。
这个矩阵能够给出详细的分类正误情况。根据这个矩阵的定义,全部元素加和为1。此外,唯有主对角线元素表示正确的分类而其余元素均表示错误的分类,在矩阵为对角阵时分类达到绝对正确。当解决问题为二分类问题时,k = 1,于是P退化为一个2 × 2的矩阵,如下式所示。
在二分类变化检测文献中,一般使用像素数目作为统计内容,以便更加直观地表示分类的情况。因此可以给出数量统计矩阵K,如公式(1-3)所示。它和P所表征的含义一致。
其中A和B分别是图像的长和宽,表示图像的尺寸。TN是True negative的缩写,表示正确检测的未变类像素数;TP是True positive的缩写,表示正确检测的变化类像素数;FP是False positive的缩写,表示本来属于未变类而被检测成为变化类的像素数,称之为错检数;FN是False negative的缩写,表示本来属于变化类而被检测成为未变类的像素数,称之为漏检数。衡量一个算法的优劣往往会从负面进行观察,因此在二分类变化检测中,往往使用FP和FN来作为两个基本的参数值。显然,FP和FN值越小表示分类越精确。需要注意的是,多分类变化检测没有类似于FP和FN的定义,因此仍然要用分类统计频率矩阵P来表征分类情况。
2.分类总正确率
分类总正确率简称PCC,是英文Percentage correct classification的缩写。它被定义为分类统计频率矩阵P的主对角线元素之和,如下式所示。
如上所述,唯有P的主对角线元素表示正确的分类,而其余元素均表示错误的分类,所以PCC实际上是一种粗略表示分类精度的参数,且有0 ≤ PCC ≤ 1。显然,PCC越接近于1,分类越精确。对于二分类变化检测来讲,PCC和FP、FN有如下式所示的关系。
3.Kappa系数
Kappa系数(Kappa coefficient, KC)是一种能更加精确衡量分类准确度的参数。它的原始表达式如下式所示。
为了计算参数PRE,首先对矩阵P的行列分别求和,得到向量pi和pj,如下式所示。
其中q = (1, 1, ..., 1)T是一个k + 1维的全1列向量。pi是一个行向量,而pj是一个列向量。PRE被定义为两者的矩阵乘积,如下式所示。
由上述公式,可以得到KC的最终表达式,如下式所示。
由于KC的推导过程不涉及具体的分类数,因此不论对二分类还是多分类都具有适用性。由公式(1-9)可知,当分类达到绝对正确的时候,tr(P) = PCC = 1,此时必有KC = 1;在分类有错误的时候,tr(P) = PCC < 1,此时KC < 1。因此KC越接近于1,表示分类越精确;并且可以看出,KC包含了更多的分类信息,因此它比PCC更能体现分类的精度。