Dark Channel Based Illumination Invariant Feature Detection

时间:2022-08-30 15:28:51

摘要:

本文提出了一种新的特征检测方法,该方法利用光照不变空间,实现了变光照条件下的鲁棒性。利用暗通道先验知识,该方法建立了三个指标来描述RGB颜色空间中的光照不变分量,消除了光敏部分。将保留的分量转化为光照不变空间,使传统的特征检测方法具有更好的鲁棒性。与现有的变换方法相比,该方法从RGB空间到光照不变空间的投影更加清晰,提高了特征检测方法的识别能力。暗通道先验知识不仅有助于构建更加可识别的指标,而且有助于检测目标的边缘特征。

 

Ⅰ.Introduction:

  鲁棒的光照不变特征检测方法一直是计算机视觉领域的研究热点,如slam及图像检索方向。但是,现有的方法,如SIFT[5]和ORB[6],由于特征检测器和描述符都是基于感兴趣点周围像素的光敏灰度,所以光照不变性有限。本文利用光照不变的颜色空间[7][8][9],提出了一种在变光照条件下提高SIFT性能的方法。对于图像上的每个像素点,光照不变成分由来自传感器的光谱特性和RGB通道强度的三个独立的指标来估计。这些成分被投影到一个新的空间,以生成一个新的图像,其中每个像素只包含光照不变的信息。随后将SIFT方法应用到新图像中来获得较好的光照不变性。

 

  我们证明了暗通道在很大程度上是不受光照影响的,因此它可以作为一种指标。此外,我们使用暗通道图作为光照不变图来执行SIFT方法以便更好地检测物体的边缘特征。将两种增强的特征点检测方法结合起来,得到了较好的检测结果。

 

  为了评估检测到的特征的质量,我们将该方法应用于实际图像检索任务中,即在不同光照条件下对一组室内地标照片中的目标图像进行检索。此外,还对检测到的特征点进行了定性和定量比较,完成了对该方法的评价。

  这项工作的主要贡献:

  1.. 与目前仅用单一指标来描述感兴趣点光照不变性的方法相比,本文提出的工作利用了多个分量,使得变换后的点更容易区分。

  2..讨论了暗通道的光照不变性,并利用暗通道的光照不变性对兴趣点的内在成分进行有效测量。

 

  下一节将讨论相关的方法。第三节给出了从原始图像到光照不变图的转换。第四部分将该方法应用于图像检索任务。第五节给出了实验结果。第六部分给出了该方法的结论。

 

Ⅱ.RELATED WORKS

  最先进的特征检测方法,如SIFT[5]、SURF[10]、ORB[6]和BRISK[11]的光照不变性有限,主要是利用兴趣点附近区域的梯度提取特征。为了提高变光照条件下性能的鲁棒性,许多基于机器学习的方法被提出。在[12]中提出了一种基于随机森林的方法,该方法利用二进制模式运行长度矩阵来表示纹理特征。Guo等人也利用了决策树,但是他们使用傅里叶变换对数据进行预处理,以滤除光不敏感成分。Ramaiah等人利用卷积神经网络处理了大量的数据从而达到较高的精度,这些方法具有较高的精度和鲁棒性,但计算量较大,需要大量的训练集。

  一些方法利用场景的结构来解决问题。Son等人提出了一种基于消失点和感兴趣区域的方法来减少计算复杂度。Simo-Serra等人提出了一种基于热融合图的方法,将图像嵌入到一定的形状中,位置信息有助于抵抗光照的变化。Kim等人[17]利用马氏距离互相关计算两幅图像的相似性,从而改进光照不变量。然而,这些方法的应用仅限于特定领域。

  Hu等人[18]提出了一种基于激光雷达的方法,将其他数据与之结合,弥补由光照引起的亮度降低。Maddern et.al[19]给出了一种利用先验的方法,利用三维结构推断出道路场景光照不变区域。这些方法在具有挑战性的光照条件下获得了高性能,但所需的设备非常昂贵。Ratnasingam和Collins[7]为解决这一问题提供了一条新的途径,即建立光照模型,计算每个像素的光照不变部分。Maddern等人的[8]跟随[7]给出了像素的一维指示器,这使得将这种方法应用于RGB相机成为可能。我们的工作利用更多可区分的特征点提高了【8】,拥有多个指标及使用了暗通道地图。

 

 

三.可区分的光照不变量转换

  在本节中,我们遵循[7]和[8],通过检测每个像素的几个固有的光不敏感属性,将原始图像转换为光照不变的图像。与[8]和[20]相比,所提出的方法利用多个指标检测图像的内在成分,所获得的新图像可区分性更强。Ratnasingam和柯林斯[7]提供了一个模型来表示一般的成像过程:光源发出的一束光落在物体表面,以一定的反射率反射,然后被相机感知。成像模型对应方程为:

  Dark Channel Based Illumination Invariant Feature Detection

  其中x是场景中的任意点。R1,2是相机传感器的响应。????代表光照源的方向。nx代表曲面法线。λ表示光的波长。强度为I的光源光的光谱功率分布E(λ)。入射光以反射率Sx(λ)反射,被相机传感器的光谱敏感性F(λ)感知。

   有几个工作有助于简化(1)。江等。[21]推断,F(λ)狭窄的,以小空间为中心的。F(λ)可以由Dirac delta function代表。Finlayson等。[9]假定照明源大约是Planckian,因此E(λ)被分为几个独立的部分,简化后:

  

   Dark Channel Based Illumination Invariant Feature Detection

  其中h是Plancks 常量,c代表光速,????B是Boltzmann 常量,T代表光源的相关色温。

   

   Maddern等人随后使用以下指标来描述光照不变的部分

   Dark Channel Based Illumination Invariant Feature Detection

    α用最小化光照相关项来估计

  Dark Channel Based Illumination Invariant Feature Detection

  Dark Channel Based Illumination Invariant Feature Detection

 

  因此,将R1、R2、R3分别赋值给相机的三个颜色通道,估计出了原始图像上每个像素的光照不变分量,从而将原始图像投影到一个新的空间。

  然而,单指标光照不变成像往往混淆了不同的反射率[22],特别是在室内环境中,会导致新空间中点的不匹配(见图1)。因此需要其他指标来改善新空间像素之间的差异。

   

  因此,我们定义了基于通道比的指标,它利用通道之间的比值来描述光照不变性。

   Dark Channel Based Illumination Invariant Feature Detection

 

   第三个指标:暗通道地图

 

   Dark Channel Based Illumination Invariant Feature Detection

  x是兴趣点,y表示x周围的邻像素,c是R、G或B通道中的一个,????0x是原始图像,ℐ3(x)是x在暗通道地图上的强度。然后我们提出了可区别的光照不变特征Distinguishable Illumination Invariant Feature(DIIF)

  Dark Channel Based Illumination Invariant Feature Detection

  ????是用来测量一个点的不变性水平。实际上,并不是所有的暗通道都是光照不变的,当暗通道的强度低于光通道时,暗通道的光不变性更好。因此我们将????定义为

  Dark Channel Based Illumination Invariant Feature Detection

  cL(x)是像素点x在光通道中的强度,cD(x)代表暗通道强度,????帮我们过滤掉了光照不敏感的暗通道。

 

  DIIF的特征检测结果如图6所示。为了进一步提高检测性能,我们还使用了暗通道图(DC图)执行SIFT方法,如图3所示。在实际应用中,DC地图检测到的特征集中在物体边缘,通常不会与DIIF检测到的特征重叠。因此,我们将这两种检测方法结合起来,提供了一种更强大的检测方法。积分结果如图6所示。

  Dark Channel Based Illumination Invariant Feature Detection

 

Dark Channel Based Illumination Invariant Feature Detection