2024 ECCV | DualDn: 通过可微ISP进行双域去噪-Abstract

时间:2024-11-12 21:13:46

图像去噪是相机ISP (Image Signal Processing)管道中的重要组成部分。向ISP管道中注入去噪器有两个经典的方式:把去噪器直接用于捕捉的raw帧图raw域)或者把去噪器用于ISP输出的RGB图像sRGB域)。然而,两类方法都有局限。

  1. raw域去噪后的残留噪声会被ISP管道随后的处理模块放大;
  2. 在sRGB域很难处理随空间位置变换的噪声,因为在该域中只能看到被ISP扭曲过的噪声(噪声变得复合了)。

因此,大多数raw/sRGB域去噪的工作仅适用于特定的噪声分布和ISP配置。

为了解决这个问题,本文提出了DualDN,一个新颖的基于学习的双域去噪器。与之前单域去噪工作不同,DualDn包含两个去噪网络,一个处理raw域噪声,一个处理sRGB域噪声。raw域去噪适配于传感器噪声和随空间位置变换的噪声,sRGB域去噪适配于ISP导致的噪声并且可以去除经过ISP放大的残余噪声。两个去噪网络都和一个可微ISP相连,该ISP通过端到端训练并且会在推理阶段被丢弃。基于这个设计,DualDn达到了可观的泛化性,优于其他大多数的基于学习的去噪方法,因为DualDn可以适配不同的不可见噪声、ISP参数、甚至是新颖的ISP管道。实验结果显示,DualDn达到了SOTA性能,并且可以适配不同的去噪架构。除此以外,DualDn可以在不用重复训练的前提下,被用作真实相机的即插即用去噪模块,效果甚至优于商业相机的在线去噪算法。

在这里插入图片描述

图1. 和商业相机的去噪算法比较