由于代价计算步骤只考虑了局部的相关性，对噪声非常敏感，无法直接用来计算最优视差，所以SGM算法通过代价聚合步骤，使聚合后的代价值能够更准确的反应像素之间的相关性。聚合后的新的代价值保存在与匹配代价空间C同样大小的聚合代价空间S中，且元素位置一一对应。
为了获得较好的匹配效果，SGM算法依旧采用全局立体匹配算法的思路，即全局能量最优化策略，简单来说就是寻找每个像素的最优视差使得整张影像的全局能量函数最小。全局能量函数的定义如公式1所示：
式1 全局能量函数的定义式
其中，Edata为数据项，是反应视差图对应的总体匹配代价的测度；Esmooth是平滑项，为了让视差图满足某些条件假设的约束，如场景表面的连续性假设，平滑项会对相邻像素视差变化超过一定像素的情况进行惩罚（对应的能量函数具有较大的值），而图像边缘处像素例外，因为边缘像素被认为确实是视差非连续区域的概率较大。图1为视差连续区域与非连续区域示意图。
图1 视差连续区域与非连续区域示意图
由于能量函数是二维函数，所以能量函数最小化是一个二维最优问题，这是一个NP完全问题，有很多近似的较为高效的能量最优策略如图割、置信度传播、合作优化等算法被用来解决这个问题，但是效率上依旧需要进一步改进。为了更高效的解决这个二维最优化问题，SGM算法采用基于类似于扫描线的方法，使用一维路径聚合的方式来近似二维最优，相比其他解决方法效率更高，效果相当。
首先，SGM提出的更具体化的能量函数如公式2所示：
式2 SGM能量函数表达式
其中，C为匹配代价，公式的第一项是数据项，表示当视差图为D时，所有像素的匹配代价的累加，第二项和第三项是平滑项，表示对像素p的Np邻域内的所有像素q进行惩罚，其中第二项惩罚力度较小（P1较小），对相邻像素视差变化很小的情况（1个像素）进行惩罚；第二项惩罚力度较大（P2> P1），对相邻像素视差变化很大（大于1个像素）的情况进行惩罚。较小的惩罚项可以让算法能够适应视差变化小的情形，如倾斜的平面或者连续的曲面，较大的惩罚项可以让算法正确处理视差非连续情况，由于影像灰度边缘处视差非连续的可能性较大，为了保护真实场景中的视差非连续情况，P2往往是根据相邻像素的灰度差来动态调整，如公式3所示：
式3 P2的调整式
P2’为P2的初始值。
实际上，式2中的能量函数最优化问题依旧是一个NP完全问题，为高效的解决它，SGM提出一种路径代价聚合的思路，即将像素所有视差下的匹配代价进行像素周围所有路径上的一维聚合得到路径下的路径代价值，然后将所有路径代价值相加得到该像素聚合后的匹配代价值。像素p沿着某条路径r的路径代价计算方法如式4所示：
式4 像素p沿着某条路径r的路径代价计算公式
其中，第一项为匹配代价值C，属于数据项；第二项是平滑项，表示的是和式2相同的含义，累加到路径代价上的值取不做惩罚、做P1惩罚和做P2惩罚三种情况中代价最小的值；第三项是为了保证新的路径代价值Lr不超过一定数值上限，即
式5
像素的总路径代价值S则通过公式6计算，
式6 总路径代价值S计算公式
路径聚合的示意图如图3所示：
图3 路径聚合示意图
从图3中可以看到，根据路径数不同，聚合的方向也有所不同，一般来说，有4路径、8路径和16路径三种聚合方式，路径数越多效果越好，但是耗时也会越长，往往需要平衡利弊，根据应用的实际要求来选择合适的路径数。
从公式5及6以及路径数不超过16可以很容易推导出S≤16(Cmax+P2)，这个不等式很重要，它表明选择合适的P2值可以将聚合代价值S控制在一定数值范围内，减少聚合代价数组对内存的占用。如采用基于5×5窗口的Census变换的方法计算得到的匹配代价值C最高不超过25（因为Census变换后的比特串最大有效长度为25），则匹配代价只需用一个字节来存储，而当P2 ≤ 65535/16-25 时，S可以只用两个字节来存储，因为存储代价的C和S空间大小是W×H×D，当影像尺寸较大时，对内存的占用是巨大的，所以减少元素存储所需要的字节数是必要的。
图4 SGM聚合步骤示意图（视差图呈现）
