亚像素卷积和转置卷积

时间:2024-05-19 14:34:30

CNN中对特征图进行上采样常用的操作有转置卷积亚像素卷积

1、转置卷积

转置卷积(Transposed Convolution)又称为反卷积(Deconvolution)

先看下普通的卷积过程:

如下图: 

 

亚像素卷积和转置卷积

这是一个卷积核大小为3x3,步长为1,padding为0的普通卷积

转置卷积的过程:

亚像素卷积和转置卷积

2、亚像素卷积

把一个3x3的小图片变成一个5X5的大图片。白色虚线区域全填0。

subpixel作者认为,这些白色的填0区域,是无效信息,甚至对求梯度优化有害处。

明明可以直接从原图得到信息,何必非要填0呢。

亚像素卷积和转置卷积

具体的细节看这个图:

亚像素卷积和转置卷积

我的理解是:对特征图进行重新排列,这种方式在图像超分辨率应用广泛

W*H*C --》2W*2H*C/4

感谢:https://www.zhihu.com/question/56177877/answer/269452316