论文解读 Learning Depth with Convolutional Spatial Propagation Network

时间:2024-03-29 14:54:20

Learning Depth with Convolutional Spatial Propagation Network

这篇论文里提出的网络是目前KITTI2015排行榜一,作者提出的CSPN既可以用于深度预测也可以用于深度图补全。

本文在Spatial Propagation Networks(SPN)的基础上提出了Convolutional Spatial Propagation Networks(CSPN),相较于SPN,CSPN可以并行计算且效果更好。CSPN和SPN一样,都使用affinity matrix(相似度矩阵)来进行传播的网络,affinity matrix是用来确定空间中两个点相似性的矩阵。

为了将CSPN用于立体匹配(处理4D的CostVolume),作者将CSPN扩展到了3D提出了3D CSPN。受spatial pyramid pooling (SPP)的启发,作者把CSPN和SPP相结合,提出了convolutional spatial pyramid pooling(CSPP)。

1.CSPN将SPN的按线方向的传播过程改为了卷积操作:

论文解读 Learning Depth with Convolutional Spatial Propagation Network

写成向量化的形式如下:

论文解读 Learning Depth with Convolutional Spatial Propagation Network

同时将他扩展到了3D:

论文解读 Learning Depth with Convolutional Spatial Propagation Network

下面的这个图展示了SPN和CSPN以及3D CSPN的区别:

论文解读 Learning Depth with Convolutional Spatial Propagation Network

2.作者提出所谓的spatial pyramid pooling(SPP)其实就是一种CSPN的特例:

给定大小为的特征以及空间大小为的目标池化特征图后,空间池化计算每个分块格网的均值,这就相当于设置核大小为,步长为p和q且设置中的所有值为一致时的单步CSPN。因此可以将SPP使用不同卷积核尺寸和不同步长的CSPN代替:

论文解读 Learning Depth with Convolutional Spatial Propagation Network

作者把这个叫做CSPP,为了强化其效果作者采用了类似于注意力机制的方法,将Affinity Matrix融合到其中提出了Convolutional spatial

pyramid fusion (CSPF):

论文解读 Learning Depth with Convolutional Spatial Propagation Network

下图是CSPN用于深度预测的网络结构图,其基础来自于PSMNet,主要做了两项变动:将其其空间池化模块替换为CSPF,并在多尺度输出之后附加了3DCSPN。

论文解读 Learning Depth with Convolutional Spatial Propagation Network