按照影像中需要进行匹配的像点的相对数目,影像匹配可分为稀疏匹配和稠密匹配两类。
稀疏匹配产生稀疏的视差矩阵,主要用于确定视点与影像以及影像之间的相对位置关系。
稠密匹配通常要求获得整个影像或者影像主要部分的深度图。
按照匹配元素选择不同,影像匹配可以分为灰度区域匹配和特征匹配。
灰度区域匹配按照像素灰度进行匹配,
特征匹配使用边缘等影像特征进行匹配。
实际上,像素灰度也是一种影像特征,特征也不一定是某些可以解释的几何特征。具有可分辨性、不变性和稳定性的属性都可以作为匹配特征。
主要的匹配算法可以分为局部算法和全局算法两大类。
1.1、局部算法
局部算法主要有块匹配算法、基于梯度的优化算法和基于特征的匹配算法等。
认为利用影像的局部信息足以实现影像匹配，不需要全局优化。算法基于相似匹配元的选择，定义适当的匹配窗口和匹配原则是十分重要的。
典型的匹配代价函数有差平方和(SSD),绝对差之和(SAD)以及标准化互相关(NCC)等。
1、块匹配算法在局部小区域内寻找最佳匹配使匹配误差最小,通常使用规范化互相关方法,包括规范化互相关、平方差之和、规范化平方差之和、绝对差之和方法等。
2、基于梯度的优化算法在局部区域内通过最小化图像间平方差的和来实现匹配。该算法假设场景中同一个点在两个视图内的影像亮度不变。通过建立运动和影像亮度的微分方程来计算局部小区域内的视差。
块匹配算法和基于梯度的匹配算法对于图像的局部不连续和一致性纹理问题敏感，无法得到满意的解答，从而使基于特征匹配的算法得到发展，如基于分层的特征匹配和基于图像分割的匹配算法等。
3、基于特征的匹配算法匹配可靠的特征。
3.1、分层的特征匹配将图像特征分为几个层次(线、点、边缘和面),匹配从最高层次开始直到最低层次,通过较为粗糙但可靠的上层特征,为较为精细的下层特征提供支持。
3.2、基于图像分割的匹配将图像分割后对区域进行匹配。
对于局部匹配算法,窗口的选择非常重要。窗口必须足够大以获取可靠的匹配,同时又必须足够小以避免投影变形的影响。而且,窗口的形状必须保证具有足够的可分辨性。
目前,已经设计出了许多解决这个问题的窗口,例如可移动式窗口、大小自适应窗口、影像分割窗口、等视差邻接窗口以及视差空间模型窗口等。
1.2、全局算法
全局算法使用全局约束解决由于遮挡和一致性纹理造成的局部匹配失败问题。全局对应算法包括动态规划算法、本征曲线算法、最大流量图算法、最小割集算法、非线性扩散算法、信心传播算法等。
核心是：全局匹配需要首先定义一个先验模型，通过最小化全局函数获得问题的解。模型的选定决定了最后的解。
1、动态规划算法通过将优化问题分解为更小、更简单的子问题从而降低计算复杂度,通常使用外极线来实现次序约束。
2、本征曲线是对图像按扫描线计算边缘或点特征的描述矢量,算法将外极线映射到本征曲线空间从而将搜索问题转化为最小邻居查找问题,并通过动态规划解决二义性问题。本征曲线的主要优点是它对视差的不变性。
3、最大流量图划分算法将视差表面作为最大流量图中的最小割边集进行求解,
4、非线性扩散算法通过局部扩散处理提供聚类支持。
局部算法具有较高的效率,但是容易受到遮挡、纹理等问题的影响。与此相反,全局算法对上述问题不敏感,但计算效率较差。
2图像匹配方法分类
2.1 基于灰度相关的图像匹配算法
（1）互相关匹配算法
其要求匹配图像与参考图像之间要有一定相似的灰度信息和尺度信息。以待匹配图像为模板在参考图像上作遍历计算，并记录两幅图像对应部分在每个位置处的互相关，最后把取得最大互相关的位置确定为两幅图像匹配的位置。互相关匹配方法思路简单，但增加匹配图像的像素点，计算量会明显增大。
（2）序贯相似检测算法（SSDA）
该算法的核心是直接计算一个指定区域内像素误差的累积。一方面，使用实现方便的相似性度量 SAD,另一方面，该算法引入了序贯搜索策略。
（3）投影匹配算法
该算法的思想是把二维矩阵形式的图像灰度信息投影成一维向量信息，再在一维向量的基础上进行图像匹配运算。其目的是通过减少图像信息维数来有效提高匹配速度。
2.2基于变换域信息的图像匹配算法
（1）基于傅里叶变换的相位的图像匹配算法
（2）基于对数极坐标变换的图像匹配算法
（3）基于小波变换的图像匹配方法
与傅里叶变换相比，小波变换是空域与频域间的局域变换，因此更能有效地从图像中提取相关信息
2.3. 基于局部特征的图像匹配方法
其局部特征主要包括点特和线特征，然而基于特征点的图像匹配算法应用最为广泛
图像的局部不变特征很适合应用于图像匹配方法中。首先它相比基于灰度相关的图像匹配算法，不会在整个图像的每个像素点上获取图像的匹配信息，这样有效的减少了匹配过程的复杂度。更重要的是在图像间存在光照、视角差异的情况下，这些局部特征会比较稳定，不会发生较大的差异性变化，所以用它表征的图像信息会表现出非常好的鲁棒性。