图像去模糊之DeblurGAN-v2

时间:2024-03-29 15:03:21

论文:DeblurGAN-v2: Deblurring (Orders-of-Magnitude) Faster and Better

Github:https://github.com/TAMU-VITA/DeblurGANv2

https://github.com/KupynOrest/DeblurGANv2

 

ICCV 2019

 

图像去模糊之DeblurGAN-v2

论文提出了DeblurGAN的改进版,DeblurGAN-v2,在efficiency, quality, flexibility 三方面都取得了state-of-the-art 的效果。

 

主要贡献:

Framework Level: 

对于生成器,为了更好的保准生成质量,论文首次提出采用Feature Pyramid Network (FPN) 结构进行特征融合。对于判别器部分,采用带有最小开方损失(least-square loss )的相对判别器(relativistic discriminator),并且分别结合了全局(global (image) )和局部(local (patch) )2个尺度的判别loss。

Backbone Level: 

论文采用了3种骨架网络,分别为Inception-ResNet-v2,MobileNet,MobileNet-DSC。Inception-ResNet-v2具有最好的精度,MobileNet和MobileNet-DSC具有更快的速度。

Experiment Level: 

在3个指标PSNR, SSIM, perceptual quality 都取得了很好的结果。基于MobileNet-DSC 的DeblurGAN-v2比DeblurGAN快了11倍,并且只有4M大小。

 

网络结构:

图像去模糊之DeblurGAN-v2

生成器基本结构为FPN结构,分别获取5个分支的特征输出,基于上采样操作进行融合。最后再加入原图的shortcut分支,得到最终的输出。

输入图片归一化到了[-1,1],输出图片也经过tanh函数归一化到[-1,1]。

 

损失函数Loss:

传统GAN的损失函数:

图像去模糊之DeblurGAN-v2

Least Squares GANs(LSGAN)的损失函数:

该损失有助于使得训练过程更加平稳,高效。

图像去模糊之DeblurGAN-v2

判别器RaGAN-LS loss :

该loss是在LSGAN loss的基础上,进行的改进。

图像去模糊之DeblurGAN-v2

生成器整体loss:

图像去模糊之DeblurGAN-v2

其中,Lp表示mean-square-error (MSE)

Lx表示感知loss,表示内容的损失

Ladv表示全局和局部的损失,全局表示整个图片的损失,局部类比于PatchGAN,表示将整个图片分块为一个一个的70*70的局部图片的损失。

 

训练集:

GoPro :3214 blurry/clear 图片对,其中2103作训练,1111做测试。

DVD :6708 blurry/clear 图片对

NFS :75个视频

 

实验结果:

图像去模糊之DeblurGAN-v2