Learning Depth with Convolutional Spatial Propagation Network
这篇论文里提出的网络是目前KITTI2015排行榜一,作者提出的CSPN既可以用于深度预测也可以用于深度图补全。
本文在Spatial Propagation Networks(SPN)的基础上提出了Convolutional Spatial Propagation Networks(CSPN),相较于SPN,CSPN可以并行计算且效果更好。CSPN和SPN一样,都使用affinity matrix(相似度矩阵)来进行传播的网络,affinity matrix是用来确定空间中两个点相似性的矩阵。
为了将CSPN用于立体匹配(处理4D的CostVolume),作者将CSPN扩展到了3D提出了3D CSPN。受spatial pyramid pooling (SPP)的启发,作者把CSPN和SPP相结合,提出了convolutional spatial pyramid pooling(CSPP)。
1.CSPN将SPN的按线方向的传播过程改为了卷积操作:
写成向量化的形式如下:
同时将他扩展到了3D:
下面的这个图展示了SPN和CSPN以及3D CSPN的区别:
2.作者提出所谓的spatial pyramid pooling(SPP)其实就是一种CSPN的特例:
给定大小为的特征以及空间大小为的目标池化特征图后,空间池化计算每个分块格网的均值,这就相当于设置核大小为,步长为p和q且设置中的所有值为一致时的单步CSPN。因此可以将SPP使用不同卷积核尺寸和不同步长的CSPN代替:
作者把这个叫做CSPP,为了强化其效果作者采用了类似于注意力机制的方法,将Affinity Matrix融合到其中提出了Convolutional spatial
pyramid fusion (CSPF):
下图是CSPN用于深度预测的网络结构图,其基础来自于PSMNet,主要做了两项变动:将其其空间池化模块替换为CSPF,并在多尺度输出之后附加了3DCSPN。