理解CNN中的卷积和反卷积

本文中关于卷积和反卷积内容主要参考论文《A guide to convolution arithmetic for deep learning》¹

文章目录

• 卷积
• 各种形式的卷积算法
• 无填充,单位步长(no zero padding, unit strides)卷积
• 有填充,单位步长(zero padding, unit strides)卷积
• 无填充,非单位步长(no zero padding, non-unit strides)卷积
• 有填充,非单位步长(zero padding, non-unit strides)卷积
• 反卷积(transposed convolution, deconvolution)
• 反卷积的数学证明
• 使用卷积实现反卷积
• 无填充,单位步长(no zero padding, unit strides)卷积的反卷积
• 有填充,单位步长(zero padding, unit strides)卷积的反卷积
• 无填充,非单位步长(no zero padding, non-unit strides)卷积的反卷积
• 有填充,非单位步长(no zero padding, non-unit strides)卷积的反卷积
• 空洞卷积

卷积

一个2D卷积的示意图如下(在实际CNN中,我们更常使用3D卷积,其卷积核是3D的):

有填充(zero paddind)	无填充(no padding)

各种形式的卷积算法

因为在各个通道上的卷积是独立的,因此在这里我们就二维单通道卷积,讨论各种参数下卷积.为方便讨论,做出如下假设:

1. 输入是正方形的($i_1 = i_2 = i$i1​=i2​=i)
2. 卷积核是正方形的.($k_1=k_2=k$k1​=k2​=k)
3. 两个维度上的卷积步长相等($s_1 = s_2 = s$s1​=s2​=s)
4. 两个维度上的填充层数相同($p_1 = p_2 = p$p1​=p2​=p)

---

下面分别讨论卷积参数$i$i,$k$k,$p$p,$s$s不同造成的卷积结果的不同²:

No padding, no strides	Arbitrary padding, no strides	Half padding, no strides	Full padding, no strides
No padding, strides	Padding, strides	Padding, strides (odd)

无填充,单位步长(no zero padding, unit strides)卷积

在$i$i,$k$k取值任意,$s=1$s=1,$p=0$p=0的情况下:

$o = (i-k)+1$o=(i−k)+1

有填充,单位步长(zero padding, unit strides)卷积

在$i$i,$k$k,$p$p取值任意,$s=1$s=1的情况下:
$o = (i-k)+2p+1$o=(i−k)+2p+1

根据$p$p的取值,有以下两种特殊的padding::

1. half (same) padding

   half (same) padding下,输入与输出的尺寸相同.

   

   在$k$k为奇数($k=2n+1, n \in \mathbb{N}$k=2n+1,n∈N),$s=1$s=1,$p= \lfloor k/2 \rfloor = n$p=⌊k/2⌋=n的情况下:
   $o = i + 2 \lfloor k/2 \rfloor − (k − 1) = i + 2n − 2n = i$o=i+2⌊k/2⌋−(k−1)=i+2n−2n=i

2. full padding

   full padding下,输入的每个像素都参与了同样次数的卷积

   

   在$i$i和$k$k取值任意,$p=k-1$p=k−1且$s=1$s=1的情况下:

   $o = i + 2(k − 1) − (k − 1) = i + (k − 1)$o=i+2(k−1)−(k−1)=i+(k−1)

无填充,非单位步长(no zero padding, non-unit strides)卷积

在非单位步长下,有可能最后一次卷积并没有接触到输入的末尾.这导致了一些像素没能被卷积到,因此在计算输出形状时有向下取整($\lfloor \rfloor$⌊⌋)运算

在$i$i和$k$k取值任意,$p=k-1$p=k−1且$s=1$s=1的情况下:

$o = \left\lfloor \frac{i-k}{s} \right\rfloor + 1$o=⌊si−k​⌋+1

有填充,非单位步长(zero padding, non-unit strides)卷积

这是卷积运算的最一般形式,下面两个示意图分别展示最后一次卷积接触到和未接触到输入的末尾的情况:

在$i$i,$k$k,$p$p和$s$s取值任意的情况下:

$o = \left\lfloor \frac{i+2p-k}{s} \right\rfloor + 1$o=⌊si+2p−k​⌋+1

反卷积(transposed convolution, deconvolution)

反卷积(transposed convolution, deconvolution)与卷积正相反³,可用于将卷积结果在尺寸上放大,实现上采样(upsampling).

反卷积的数学证明

要理解反卷积,首先卷积是如何实现的,卷积在数学上实际是通过矩阵乘法实现的,对于下述卷积,我们将其表示成矩阵运算的形式:

先分别将输入$input$input和输出$output$output分别展开为列向量$X$X和$Y$Y:
$\begin{aligned} X &= [x^1 x^2 x^3 x^4 x^5 x^6 x^7 x^8 x^9 x^{10} x^{11} x^{12} x^{13} x^{14} x^{15} x^{16}]^T \\ Y &= [y^1 y^2 y^3 y^4]^T \end{aligned}$XY​=[x1x2x3x4x5x6x7x8x9x10x11x12x13x14x15x16]T=[y1y2y3y4]T​
构造矩阵$C$C
$C = \begin{bmatrix} w_{0,0} & w_{0,1} & w_{0,2} & 0 & w_{1,0} & w_{1,1} & w_{1,2} & 0 & w_{2,0} & w_{2,1} & w_{2,2} & 0 & 0 & 0 & 0 & 0 \\ 0 & w_{0,0} & w_{0,1} & w_{0,2} & 0 & w_{1,0} & w_{1,1} & w_{1,2} & 0 & w_{2,0} & w_{2,1} & w_{2,2} & 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 & w_{0,0} & w_{0,1} & w_{0,2} & 0 & w_{1,0} & w_{1,1} & w_{1,2} & 0 & w_{2,0} & w_{2,1} & w_{2,2} & 0 \\ 0 & 0 & 0 & 0 & 0 & w_{0,0} & w_{0,1} & w_{0,2} & 0 & w_{1,0} & w_{1,1} & w_{1,2} & 0 & w_{2,0} & w_{2,1} & w_{2,2} \end{bmatrix}$C=⎣⎢⎢⎡​w0,0​000​w0,1​w0,0​00​w0,2​w0,1​00​0w0,2​00​w1,0​0w0,0​0​w1,1​w1,0​w0,1​w0,0​​w1,2​w1,1​w0,2​w0,1​​0w1,2​0w0,2​​w2,0​0w1,0​0​w2,1​w2,0​w1,1​w1,0​​w2,2​w2,1​w1,2​w1,1​​0w2,2​0w1,2​​00w2,0​0​00w2,1​w2,0​​00w2,2​w2,1​​000w2,2​​⎦⎥⎥⎤​
则卷积运算可被表示为
$Y = C X$Y=CX
卷积运算的反向传播计算公式为
$\frac{\partial{J}}{\partial{X}} = \frac{\partial{J}}{\partial{Y}} C^T$∂X∂J​=∂Y∂J​CT

---

因此反卷积运算可表示为
$X = (C^T C)^{-1} C^T Y$X=(CTC)−1CTY

使用卷积实现反卷积

卷积和反卷积在数学上都是用矩阵运算实现的,因此,每个反卷积运算都可以用对应的卷积运算来表示,下面分析各种反卷积运算的卷积形式.

No padding, no strides, transposed	Arbitrary padding, no strides, transposed	Half padding, no strides, transposed	Full padding, no strides, transposed
No padding, strides, transposed	Padding, strides, transposed	Padding, strides, transposed (odd)

无填充,单位步长(no zero padding, unit strides)卷积的反卷积

	示意图
卷积
反卷积

$i$i和$k$k取值任意,$s=1$s=1,$p=0$p=0的卷积所对应的反卷积参数为$k'=k$k′=k,$s'=s$s′=s,$p'=k-1$p′=k−1

$o' = i' + (k-1)$o′=i′+(k−1)

可以用fully padding卷积来实现no padding卷积的反卷积.

有填充,单位步长(zero padding, unit strides)卷积的反卷积

	示意图
卷积
反卷积

$i$i,$k$k,$p$p取值任意,$s=1$s=1的卷积所对应的反卷积参数为$k’=k$k’=k,$s'=s$s′=s,$p'=k-p-1$p′=k−p−1
$o' = i' + (k − 1) − 2p$o′=i′+(k−1)−2p

两种特殊padding所对应的反卷积如下:

1. half(same) padding卷积的反卷积

   	示意图
   卷积
   反卷积

   $k$k为奇数($k=2n+1, n \in \mathbb{N}$k=2n+1,n∈N),$s=1$s=1,$p= \lfloor k/2 \rfloor = n$p=⌊k/2⌋=n的卷积所对应的反卷积参数为$k'=k$k′=k,$s'=s$s′=s,$p'=p$p′=p
   $o' = i' + (k − 1) - 2 \lfloor k/2 \rfloor = i + 2n − 2n = i$o′=i′+(k−1)−2⌊k/2⌋=i+2n−2n=i

   可以用same padding来实现same padding卷积的反卷积.

2. full padding卷积的反卷积

   	示意图
   卷积
   反卷积

   $k$k取值任意,$s = 1$s=1,$p = k−1$p=k−1的卷积所对应的反卷积参数为$k'=k$k′=k,$s'=s$s′=s,$p'=0$p′=0
   $o' = i' + (k − 1) - 2p= i' -(k-1)$o′=i′+(k−1)−2p=i′−(k−1)

   可以用no padding来实现fully padding卷积的反卷积.

无填充,非单位步长(no zero padding, non-unit strides)卷积的反卷积

直观来看,对于非单位步长的卷积,其反卷积的步长应为分数,这也解释了为什么反卷积又被称为分数步长卷积.我们实现分数步长的手段是在输入$input'$input′的每一行和列之间插入对应数量的空行列,并将反卷积的卷积步长$s'$s′设为$1$1,这样就实现了分数步长卷积.

	示意图
卷积
反卷积

$k$k,$s$s取值任意,$p =0$p=0的且$i-k$i−k为$s$s的整数倍的卷积所对应的反卷积参数为$k'=k$k′=k,$s'=1$s′=1,$p'=k-1$p′=k−1,$i'$i′尺寸为原输入每行每列之插入$s-1$s−1个空行列.
$o' = s(i' − 1) + k$o′=s(i′−1)+k

有填充,非单位步长(no zero padding, non-unit strides)卷积的反卷积

在这里,根据$i + 2p − k$i+2p−k是否能够整除$s$s做出讨论:

1. $i + 2p − k$i+2p−k能够整除$s$s

   	示意图
   卷积
   反卷积

   $k$k,$s$s,$p$p取值任意,且$i+2p-k$i+2p−k为$s$s的整数倍的卷积所对应的反卷积参数为$k'=k$k′=k,$s'=1$s′=1,$p'=k-p-1$p′=k−p−1,$i'$i′尺寸为原输入每行每列间插入$s-1$s−1个空行列.

   $o' = s(i' − 1) + k - 2p$o′=s(i′−1)+k−2p

2. $i + 2p − k$i+2p−k不能整除$s$s

   	示意图
   卷积
   反卷积

   $k$k,$s$s,$p$p取值任意,且$i+2p-k$i+2p−k模$s$s为$a$a的卷积所对应的反卷积参数为$k'=k$k′=k,$s'=1$s′=1,$p'=k-p-1$p′=k−p−1,$i'$i′尺寸为原输入每行每列间插入$s-1$s−1个空行列,且在最下行和最右列初再加$a$a个空行列.

   $o' = s(i' − 1) + a + k - 2p$o′=s(i′−1)+a+k−2p

空洞卷积

---

1. Dumoulin V , Visin F . A guide to convolution arithmetic for deep learning[J]. 2016. ↩︎

2. 图片来源:https://github.com/vdumoulin/conv_arithmetic ↩︎

3. 这里讨论的是CNN中的反卷积,不同于数学上的反卷积运算. ↩︎