摘要:
本文提出了一种新的特征检测方法,该方法利用光照不变空间,实现了变光照条件下的鲁棒性。利用暗通道先验知识,该方法建立了三个指标来描述RGB颜色空间中的光照不变分量,消除了光敏部分。将保留的分量转化为光照不变空间,使传统的特征检测方法具有更好的鲁棒性。与现有的变换方法相比,该方法从RGB空间到光照不变空间的投影更加清晰,提高了特征检测方法的识别能力。暗通道先验知识不仅有助于构建更加可识别的指标,而且有助于检测目标的边缘特征。
Ⅰ.Introduction:
鲁棒的光照不变特征检测方法一直是计算机视觉领域的研究热点,如slam及图像检索方向。但是,现有的方法,如SIFT[5]和ORB[6],由于特征检测器和描述符都是基于感兴趣点周围像素的光敏灰度,所以光照不变性有限。本文利用光照不变的颜色空间[7][8][9],提出了一种在变光照条件下提高SIFT性能的方法。对于图像上的每个像素点,光照不变成分由来自传感器的光谱特性和RGB通道强度的三个独立的指标来估计。这些成分被投影到一个新的空间,以生成一个新的图像,其中每个像素只包含光照不变的信息。随后将SIFT方法应用到新图像中来获得较好的光照不变性。
我们证明了暗通道在很大程度上是不受光照影响的,因此它可以作为一种指标。此外,我们使用暗通道图作为光照不变图来执行SIFT方法以便更好地检测物体的边缘特征。将两种增强的特征点检测方法结合起来,得到了较好的检测结果。
为了评估检测到的特征的质量,我们将该方法应用于实际图像检索任务中,即在不同光照条件下对一组室内地标照片中的目标图像进行检索。此外,还对检测到的特征点进行了定性和定量比较,完成了对该方法的评价。
这项工作的主要贡献:
1.. 与目前仅用单一指标来描述感兴趣点光照不变性的方法相比,本文提出的工作利用了多个分量,使得变换后的点更容易区分。
2..讨论了暗通道的光照不变性,并利用暗通道的光照不变性对兴趣点的内在成分进行有效测量。
下一节将讨论相关的方法。第三节给出了从原始图像到光照不变图的转换。第四部分将该方法应用于图像检索任务。第五节给出了实验结果。第六部分给出了该方法的结论。
Ⅱ.RELATED WORKS
最先进的特征检测方法,如SIFT[5]、SURF[10]、ORB[6]和BRISK[11]的光照不变性有限,主要是利用兴趣点附近区域的梯度提取特征。为了提高变光照条件下性能的鲁棒性,许多基于机器学习的方法被提出。在[12]中提出了一种基于随机森林的方法,该方法利用二进制模式运行长度矩阵来表示纹理特征。Guo等人也利用了决策树,但是他们使用傅里叶变换对数据进行预处理,以滤除光不敏感成分。Ramaiah等人利用卷积神经网络处理了大量的数据从而达到较高的精度,这些方法具有较高的精度和鲁棒性,但计算量较大,需要大量的训练集。
一些方法利用场景的结构来解决问题。Son等人提出了一种基于消失点和感兴趣区域的方法来减少计算复杂度。Simo-Serra等人提出了一种基于热融合图的方法,将图像嵌入到一定的形状中,位置信息有助于抵抗光照的变化。Kim等人[17]利用马氏距离互相关计算两幅图像的相似性,从而改进光照不变量。然而,这些方法的应用仅限于特定领域。
Hu等人[18]提出了一种基于激光雷达的方法,将其他数据与之结合,弥补由光照引起的亮度降低。Maddern et.al[19]给出了一种利用先验的方法,利用三维结构推断出道路场景光照不变区域。这些方法在具有挑战性的光照条件下获得了高性能,但所需的设备非常昂贵。Ratnasingam和Collins[7]为解决这一问题提供了一条新的途径,即建立光照模型,计算每个像素的光照不变部分。Maddern等人的[8]跟随[7]给出了像素的一维指示器,这使得将这种方法应用于RGB相机成为可能。我们的工作利用更多可区分的特征点提高了【8】,拥有多个指标及使用了暗通道地图。
三.可区分的光照不变量转换
在本节中,我们遵循[7]和[8],通过检测每个像素的几个固有的光不敏感属性,将原始图像转换为光照不变的图像。与[8]和[20]相比,所提出的方法利用多个指标检测图像的内在成分,所获得的新图像可区分性更强。Ratnasingam和柯林斯[7]提供了一个模型来表示一般的成像过程:光源发出的一束光落在物体表面,以一定的反射率反射,然后被相机感知。成像模型对应方程为:
其中x是场景中的任意点。R1,2是相机传感器的响应。????x 代表光照源的方向。nx代表曲面法线。λ表示光的波长。强度为I的光源光的光谱功率分布E(λ)。入射光以反射率Sx(λ)反射,被相机传感器的光谱敏感性F(λ)感知。
有几个工作有助于简化(1)。江等。[21]推断,F(λ)狭窄的,以小空间为中心的。F(λ)可以由Dirac delta function代表。Finlayson等。[9]假定照明源大约是Planckian,因此E(λ)被分为几个独立的部分,简化后:
其中h是Plancks 常量,c代表光速,????B是Boltzmann 常量,T代表光源的相关色温。
Maddern等人随后使用以下指标来描述光照不变的部分
α用最小化光照相关项来估计
因此,将R1、R2、R3分别赋值给相机的三个颜色通道,估计出了原始图像上每个像素的光照不变分量,从而将原始图像投影到一个新的空间。
然而,单指标光照不变成像往往混淆了不同的反射率[22],特别是在室内环境中,会导致新空间中点的不匹配(见图1)。因此需要其他指标来改善新空间像素之间的差异。
因此,我们定义了基于通道比的指标,它利用通道之间的比值来描述光照不变性。
第三个指标:暗通道地图
x是兴趣点,y表示x周围的邻像素,c是R、G或B通道中的一个,????0x是原始图像,ℐ3(x)是x在暗通道地图上的强度。然后我们提出了可区别的光照不变特征Distinguishable Illumination Invariant Feature(DIIF)
????是用来测量一个点的不变性水平。实际上,并不是所有的暗通道都是光照不变的,当暗通道的强度低于光通道时,暗通道的光不变性更好。因此我们将????定义为
cL(x)是像素点x在光通道中的强度,cD(x)代表暗通道强度,????帮我们过滤掉了光照不敏感的暗通道。
DIIF的特征检测结果如图6所示。为了进一步提高检测性能,我们还使用了暗通道图(DC图)执行SIFT方法,如图3所示。在实际应用中,DC地图检测到的特征集中在物体边缘,通常不会与DIIF检测到的特征重叠。因此,我们将这两种检测方法结合起来,提供了一种更强大的检测方法。积分结果如图6所示。