CVPR-图像超分辨率新网络RFANet | Residual Feature Aggregation Network for Image Super-Resolution

时间:2024-03-31 07:14:07

创新点都比较小,提升也很小,有种炒冷饭的感觉…
论文地址:http://openaccess.thecvf.com/content_CVPR_2020/papers/Liu_Residual_Feature_Aggregation_Network_for_Image_Super-Resolution_CVPR_2020_paper.pdf

CVPR2020-图像超分辨率新网络RFANet | Residual Feature Aggregation Network for Image Super-Resolution

Abstract:

最近,深度卷积神经网络(CNN)在单图像超分辨率(SISR)中显示了强大的功能,并且相对于传统方法取得了显着改进。在这些基于CNN的方法中,残差连接在提高网络性能方面起着至关重要的作用。随着网络深度的增加,残差特征逐渐集中于输入图像的不同方面,这对于重建空间细节非常有用。但是,现有方法忽略了充分利用残差分支上的分层特征。为了解决此问题,我们提出了一种新颖的残差特征聚合(RFA)框架,用于更有效的特征提取。 RFA框架将几个残差模块分组在一起,并通过添加跳跃连接直接在每个局部残差分支上传播特征。因此,RFA框架能够整合这些有用的残差特征以产生更具代表性的特征。为了最大化RFA框架的功能,我们进一步提出了增强的空间注意力(ESA)块,以使残差特征更加集中于关键的空间内容。 ESA模块设计为轻巧高效。我们的最终RFANet是通过将建议的RFA框架与ESA模块一起应用而构建的。全面的实验证明了我们RFA框架的必要性以及RFANet相对于最新SISR方法的优越性。

Introduction:

CVPR2020-图像超分辨率新网络RFANet | Residual Feature Aggregation Network for Image Super-Resolution
如图1(a)所示,以往方法都是基于残差模块的堆叠,只利用了复杂的深度特征,而没有利用好各层级的局部特征。本文针对以上问题,提出残差特征聚合RFA模块,充分利用局部特征,具体如图1(b)。

此外,本文新提出了一个增强型空间注意力ESA模块。用于解决以往注意力机制的两个问题:
1)简单的Spatial Attention模块,首先功能不够强大。其次,缺乏图像SR任务中必不可少的大的感受野范围;
2)Non-Local模块虽然功能强大,但是其计算复杂度太高。

总结,本文的主要贡献:
1)提出了通用的残差特征聚合(RFA)框架,以实现更准确的图像SR。 全面的消融研究表明,残差网络和密集网络的性能都可以得到实质性的改善;

2)提出了增强的空间注意(ESA)块,以根据空间上下文自适应地重新缩放要素。 ESA块使网络可以学习更多区分功能。 此外,它比普通的空间关注块轻巧并且具有更好的性能;

3)提出了一种残差特征聚合网络(RFANet),该网络是通过将所提出的RFA框架与功能强大的ESA模块相结合而构建的。 由于增强了空间注意力机制,RFA框架可以聚合更多具有代表性的功能,从而生成更准确的SR结果。

Methodology:

CVPR2020-图像超分辨率新网络RFANet | Residual Feature Aggregation Network for Image Super-Resolution
整个SR网络结构如上图所示,与以往结构基本相同,主要关注T个Base Module的创新

A.Residual Feature Aggregation Framework(RFA)
CVPR2020-图像超分辨率新网络RFANet | Residual Feature Aggregation Network for Image Super-Resolution

RB:残差模块。
RFA:就是4个RB模块输出进行密集连接,得到拼接特征后接一个1x1卷积先进行融合。

B.Enhanced Spatial Attention Block(ESA)
CVPR2020-图像超分辨率新网络RFANet | Residual Feature Aggregation Network for Image Super-Resolution

ESA模块设计准则:
1)注意力模块必须足够轻量,因为它将被插入网络的每个残差模块中
2)为了使注意力区域很好地完成图像SR的任务,需要一个较大的感受野范围

如上图所示,具体操作为:
1)对输入使用1x1卷积降通道数

2)为了降特征空间尺寸和获得更大感受野范围,使用stride为2的卷积+2x2max pooling+Conv Gruops。其中Conv Groups由7x7max pooling与stride为3的卷积组成,为了进一步扩大感受野范围

3)对2)中特征进行上采样得到输入尺寸大小的特征,注意这里加了个跳跃连接

4)对3)中特征进行1x1卷积+Sigmoid函数,与输入点乘,得到ESA的输出特征

Experiments:

1.Ablation results:
CVPR2020-图像超分辨率新网络RFANet | Residual Feature Aggregation Network for Image Super-Resolution
2.Bicubic Degradation (BI):优于SAN
CVPR2020-图像超分辨率新网络RFANet | Residual Feature Aggregation Network for Image Super-Resolution
3.Blur-downscale Degradation (BD):优于SAN
CVPR2020-图像超分辨率新网络RFANet | Residual Feature Aggregation Network for Image Super-Resolution
4.Model Complexity Analysis:
CVPR2020-图像超分辨率新网络RFANet | Residual Feature Aggregation Network for Image Super-Resolution