这篇文章主要介绍 SIFT 算法。希望通过对 SIFT 算法的总结来更加深入地了解“尺度不变特征变换”，除此之外，也加深来对 SURF 算法的理解。
附件：SIFT—Scale Invariant Feature Transform
1 SIFT 发展历程及主要思想
SIFT算法由D.G.Lowe 1999年提出，2004年完善总结。后来Y.Ke将其描述子部分用PCA代替直方图的方式，对其进行改进。是一种提取局部特征的算法，在尺度空间寻找极值点，提取位置，尺度，旋转不变量。
2 SIFT算法的主要特点
a) SIFT特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性；
b) 独特性(Distinctiveness)好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配；
c) 多量性，即使少数的几个物体也可以产生大量SIFT特征向量；
d) 高速性，经优化的SIFT匹配算法甚至可以达到实时的要求；
e) 可扩展性，可以很方便的与其他形式的特征向量进行联合。
3 SIFT算法步骤：
1） 检测尺度空间极值点；
2） 精确定位极值点；
3） 为每个关键点指定方向参数；
4） 关键点描述子的生成。
4 SIFT算法详细
▲尺度空间的生成
尺度空间理论目的是模拟图像数据的多尺度特征。高斯卷积核是实现尺度变换的唯一线性核，于是一副二维图像的尺度空间定义为： 
其中 
是尺度可变高斯函数 , 
（x，y）是空间坐标，sigma是尺度坐标。sigma大小决定图像的平滑程度，大尺度对应图像的概貌特征，小尺度对应图像的细节特征。大的值对应粗糙尺度(低分辨率)，反之，对应精细尺度(高分辨率)。为了有效的在尺度空间检测到稳定的关键点，提出了高斯差分尺度空间（DOG scale-space）。利用不同尺度的高斯差分核与图像卷积生成。
DOG算子计算简单，是尺度归一化的LoG算子的近似。
图像金字塔的构建：图像金字塔共O组，每组有S层，下一组的图像由上一组图像降采样得到。
▲空间极值点检测
为了寻找尺度空间的极值点，每一个采样点要和它所有的相邻点比较，看其是否比它的图像域和尺度域的相邻点大或者小。如图3所示，中间的检测点和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点比较，以确保在尺度空间和二维图像空间都检测到极值点。 一个点如果在DOG尺度空间本层以及上下两层的26个领域中是最大或最小值时，就认为该点是图像在该尺度下的一个特征点,如图所示。
▲精确确定极值点位置
通过拟和三维二次函数以精确确定关键点的位置和尺度（达到亚像素精度），同时去除低对比度的关键点和不稳定的边缘响应点(因为DoG算子会产生较强的边缘响应)，以增强匹配稳定性、提高抗噪声能力。
①空间尺度函数泰勒展开式如下: 
(1)
对上式求导,并令其为0,得到精确的位置, 
(2)
②在已经检测到的特征点中,要去掉低对比度的特征点和不稳定的边缘响应点。去除低对比度的点：把公式(2)代入公式(1)，只取前两项可得：
若 
，该特征点就保留下来，否则丢弃。
③边缘响应的去除
一个定义不好的高斯差分算子的极值在横跨边缘的地方有较大的主曲率，而在垂直边缘的方向有较小的主曲率。主曲率通过一个2×2 的Hessian矩阵H求出:
导数由采样点相邻差估计得到。D的主曲率和H的特征值成正比，令为最大特征值，为最小的特征值，
令 
则：
(r + 1)2/r的值在两个特征值相等的时候最小，随着r的增大而增大，因此，为了检测主曲率是否在某域值r下，只需检测 
在Lowe的文章中，取r＝10。
▲关键点方向分配
利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备旋转不变性。 
上式为(x,y)处梯度的模值和方向公式。其中L所用的尺度为每个关键点各自所在的尺度。
在实际计算时，我们在以关键点为中心的邻域窗口内采样，并用直方图统计邻域像素的梯度方向。梯度直方图的范围是0～360度，其中每10度一个柱，总共36个柱。直方图的峰值则代表了该关键点处邻域梯度的主方向，即作为该关键点的方向。
在梯度方向直方图中，当存在另一个相当于主峰值80%能量的峰值时，则将这个方向认为是该关键点的辅方向。一个关键点可能会被指定具有多个方向（一个主方向，一个以上辅方向），这可以增强匹配的鲁棒性。 至此，图像的关键点已检测完毕，每个关键点有三个信息：位置、所处尺度、方向。由此可以确定一个SIFT特征区域（在实验章节用椭圆或箭头表示）。
▲特征点描述子生成
首先将坐标轴旋转为关键点的方向，以确保旋转不变性。
图 由关键点邻域梯度信息生成特征向量
接下来以关键点为中心取8×8的窗口。图左部分的*黑点为当前关键点的位置，每个小格代表关键点邻域所在尺度空间的一个像素，利用公式求得每个像素的梯度幅值与梯度方向，箭头方向代表该像素的梯度方向，箭头长度代表梯度模值，然后用高斯窗口对其进行加权运算,每个像素对应一个向量，长度为，为该像素点的高斯权值，方向为， 图中蓝色的圈代表高斯加权的范围（越靠近关键点的像素梯度方向信息贡献越大）。然后在每4×4的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点，如图右部分示。此图中一个关键点由2×2共4个种子点组成，每个种子点有8个方向向量信息。这种邻域方向性信息联合的思想增强了算法抗噪声的能力，同时对于含有定位误差的特征匹配也提供了较好的容错性。
实际计算过程中，为了增强匹配的稳健性，Lowe建议对每个关键点使用4×4共16个种子点来描述，这样对于一个关键点就可以产生128个数据，即最终形成128维的SIFT特征向量。此时SIFT特征向量已经去除了尺度变化、旋转等几何变形因素的影响，再继续将特征向量的长度归一化，则可以进一步去除光照变化的影响。
当两幅图像的SIFT特征向量生成后，下一步我们采用关键点特征向量的欧式距离来作为两幅图像中关键点的相似性判定度量。取图像1中的某个关键点，并找出其与图像2中欧式距离最近的前两个关键点，在这两个关键点中，如果最近的距离除以次近的距离少于某个比例阈值，则接受这一对匹配点。降低这个比例阈值，SIFT匹配点数目会减少，但更加稳定。为了排除因为图像遮挡和背景混乱而产生的无匹配关系的关键点,Lowe提出了比较最近邻距离与次近邻距离的方法,距离比率ratio小于某个阈值的认为是正确匹配。因为对于错误匹配,由于特征空间的高维性,相似的距离可能有大量其他的错误匹配,从而它的ratio值比较高。Lowe推荐ratio的阈值为0.8。但作者对大量任意存在尺度、旋转和亮度变化的两幅图片进行匹配，结果表明ratio取值在0. 4~0. 6之间最佳，小于0. 4的很少有匹配点，大于0. 6的则存在大量错误匹配点。(如果这个地方你要改进，最好给出一个匹配率和ration之间的关系图，这样才有说服力)作者建议ratio的取值原则如下:
ratio=0. 4 对于准确度要求高的匹配；
ratio=0. 6 对于匹配点数目要求比较多的匹配；
ratio=0. 5 一般情况下。
也可按如下原则:当最近邻距离<200时ratio=0. 6，反之ratio=0. 4。ratio的取值策略能排分错误匹配点。
5 对SIFT算法的总的概述：
SIFT算法中的邻域方向性信息联合的思想能够增强算法的抗噪声能力,同时对于含有定位误差的特征匹配也提供了较好的容错性,并且SIFT特征是图像的局部特征,其对图像旋转、尺度缩放、亮度变化保持不变性,对视角变化、仿射变换、噪声也保持一定程度的稳定性,它具有很好的独特性和丰富的信息量,适用于海量特征数据库的图像匹配。
SIFT图像特征的许多属性适合于对不同图像或场景中同一目标进行匹配。这些特征对于图像尺度、旋转、亮度和3D视点都具有不变性,而且有很高的独特性,能使单独一个特征从很大的特征数据库中被高概率正确地匹配出来,减小了由遮挡、混乱或噪音所造成的错误概率。
SIFT算法基于图像特征尺度选择的思想，建立图像的多尺度空间，在不同尺度下检测到同一个特征点，确定特征点位置的同时确定其所在尺度，以达到尺度抗缩放的目的，剔出一些对比度较低的点以及边缘响应点，并提取旋转不变特征描述符以达到抗仿射变换的目的。该算法主要包含4个步骤:
(1)建立尺度空间,寻找候选点；
(2)精确确定关键点,剔除不稳定点；
(3)确定关键点的方向；
(4)提取特征描述符。
利用一组连续的高斯卷积核与原图像进行卷积，生成一系列尺度空间的图像，相邻尺度的图像相减就得到一组DOG图像，然后将图像缩小2倍并重复以上过程,直至图像尺寸小于某一范围(例如32×32)。
SIFT特征描述子以基于梯度位置和方向的三维直方图来描述图像局部特征，其中每个位置和方向上的描述子分量由梯度幅值的加权和计算求得，这种梯度位置和方向的量化使得SIFT特征描述子对图像中细小的几何畸变以及特征提取过程中微小的定位误差具有非常好的抗干扰性。