文献精读——(第二十四篇)基于递归残差网络的图像超分辨(DRRN)

时间:2024-05-18 18:28:31

一、文献梳理

1、研究背景

CNN在超分辨中的模型有SRCNN、VDSR、DRCN等,SRCNN网络深度很浅,VDSR、DRCN虽然加深了网络深度也增加了参数和存储量。VDSR使用全局残差学习GRL,即残差学习介于低分辨率的插值输入图片与高分辨率的输出图片之间。基于上述问题提出DRCN。

2、研究成果

1)意义

  • 提出一个网络深度很深,但参数却很少的新型卷积神经网络
  • DRRN同时采用局部与全局残差结构以及递归结构
  • 在实验中的结果均优于世界领先水平

2)实验

(1)设置

  • 数据集设置:使用291张图片,裁成31*31的小块,使用旋转90、180、270、垂直翻转。
  • 优化器:SGD
  • 学习率:10^-4
  • batch:128

(2)结果

文献精读——(第二十四篇)基于递归残差网络的图像超分辨(DRRN)

二、基础知识

1、超分辨简介

1)定义

超分辨是通过软件方法,提高原有图像的分辨率,通过一系列低分辨率图像来得到一幅高分辨率图像的过程就是超分辨率重建

2)研究意义

可用于:监控领域、卫星图像等遥感领域、医学图像领域、图像重建、视频重建。

3)方法

  • 传统方法:插值、基于重建方法(凸集投影法、贝叶斯分析法、正规化法、稀疏表示法)
  • 基于深度学习卷积神经网络:SRCNN、VDSR、DRRN

4)常用数据集(前五种不用于训练和验证,只是用来测试)

文献精读——(第二十四篇)基于递归残差网络的图像超分辨(DRRN)

5)评价指标 

(1)PSNR:PSNR是一种全参考的图像质量评估。是最普遍的一种图像客观评价指标,然而它是基于对应像素点间的普遍误差,即基于误差名的图像质量评价。

文献精读——(第二十四篇)基于递归残差网络的图像超分辨(DRRN)

其中。MSE表示当前图像X和参考图像Y的均方误差,H、W分别是图像的高和宽,n为每个相对的比特数,一般取八,即像素回阶为256。PSNR的单位为dB,数值越大表示失真越小

(2)SSIM结构相似性:也就是一种全参考的图像质量评价指标,它分别从亮度、对比度、结构三方面度量图像的相似性,SSIM取值范围【0,1】,值越大,表示图像失真越小。

文献精读——(第二十四篇)基于递归残差网络的图像超分辨(DRRN)

文献精读——(第二十四篇)基于递归残差网络的图像超分辨(DRRN)

文献精读——(第二十四篇)基于递归残差网络的图像超分辨(DRRN)

6)学习类型

  • 监督学习利用一组已知类别的样本调整分类器的参数,使其达到所要求性能的过程,称为监督学习。分为单监督与多尺度监督。
  • 无监督学习:对无标签数据进行学习,因为没有标签信息,意味着需要从数据集中发现和总结模式或者结构。
  • 半监督学习:训练集同时包含有标记样本数据和为标签数据样本,学习时不依赖外界交互,自动利用为标签样本来提升学习性能。

三、文献重点

1、结构对比

文献精读——(第二十四篇)基于递归残差网络的图像超分辨(DRRN)

2、模型解析

1)RB块内部计算公式

 一个RB在内部一共经历三个残差块,三个残差块逐渐嵌套。文献精读——(第二十四篇)基于递归残差网络的图像超分辨(DRRN)为第b个递归模块的输入;文献精读——(第二十四篇)基于递归残差网络的图像超分辨(DRRN)为第b个递归模块的输出;文献精读——(第二十四篇)基于递归残差网络的图像超分辨(DRRN)为通过 第一个卷积层后的结果。U表示第几次嵌套,每次Gu都是使用卷积输出并加上H。

                                    文献精读——(第二十四篇)基于递归残差网络的图像超分辨(DRRN)               文献精读——(第二十四篇)基于递归残差网络的图像超分辨(DRRN)

                                   文献精读——(第二十四篇)基于递归残差网络的图像超分辨(DRRN)

文献精读——(第二十四篇)基于递归残差网络的图像超分辨(DRRN)

2)整体结构计算

模型由六个RB块构成,为什么叫递归残差能?因为在计算完残差结构后,将输出在放回输入再进行一次RB块的运算,即每个RB块自己单独循环一次且只循环一次。 d为DRRN的深度,U每个递归块中残差块的数量,B为递归块的个数,RB为第B个递归块,fRec为最后一个卷积层。

                                                   文献精读——(第二十四篇)基于递归残差网络的图像超分辨(DRRN)      文献精读——(第二十四篇)基于递归残差网络的图像超分辨(DRRN)

                                                          文献精读——(第二十四篇)基于递归残差网络的图像超分辨(DRRN)

文献精读——(第二十四篇)基于递归残差网络的图像超分辨(DRRN)

3)此模型的推广

a、b、c表示残差单元分别为1、2、3且每个残差单元中的卷积层都是由BN+RELU+卷积层构成。每个残差单元由依次两个卷积层与跳跃连接相加而成,递归表示当前状态与前一状态相关,且在每个递归网络之前都有一个卷积层。图d的每个递归块有三个残差单元。

文献精读——(第二十四篇)基于递归残差网络的图像超分辨(DRRN)