阅读论文《Loss Functions for Image Restoration With Neural Networks》

   这是去年计算成像学领域的一篇论文（链接：https://ieeexplore.ieee.org/document/7797130/ ），重在讨论如何损失函数对图像恢复的影响。在目前的图像恢复任务中主要使用的还是L2损失函数，L2损失的好处有很多，例如可以直接提高PSNR等指标。但是L2指标与人类感知的图像质量相关性较差，例如其假设噪声与图像的局部区域无关。在有些情况下，L1损失函数获得的图像质量会更好。这里论文调研了L1损失，SSIM和MS-SSIM，并将L1损失函数和MS-SSIM结合起来构建新的损失函数。但是目前为止，基于SSIM的指标还没有应用到损失函数中。

L1损失函数

   同L2损失函数相比，L1损失函数不会过度惩罚两张图的差异，因此它具有不同的收敛属性。L1损失函数可以表示为：

ℓ1(P)=1N∑p∈P|x(p)−y(p)|(1) $${\mathcal{L}}^{{\ell }_1}(P)=\frac{1}{N}\underset{p\in P}{\sum }|x(p)-y(p)|(1)$$

其微分形式表示如下：

∂ℓ1(P)/∂x(p)=sign(x(p)−y(p))(2) $$\mathrm{\partial }{\mathcal{L}}^{{\ell }_1}(P)/\mathrm{\partial }x(p)=\text{sign}\left(x(p)-y(p)\right)(2)$$

在实验中，L1函数在许多问题上的表现要比L2函数好。

SSIM损失函数

   SSIM结构性指标定义如下：

SSIM(p)==2μxμy+C1μ2x+μ2y+C1⋅2σxy+C2σ2x+σ2y+C2l(p)⋅cs(p)(1)(2)(3) $$\begin{array}{}\text{(1)}& \text{SSIM}(p)& =& \frac{2{\mu }_x{\mu }_y+C_1}{{\mu }_x^2+{\mu }_y^2+C_1}\cdot \frac{2{\sigma }_{xy}+C_2}{{\sigma }_x^2+{\sigma }_y^2+C_2}\text{(2)}& & =& l(p)\cdot cs(p)\end{array}(3)$$

SSIM的值一般是越大越好的，所以这里损失函数设定为：

SSIM(P)=1N∑p∈P1−SSIM(p)(4)(3) $$\begin{array}{}\text{(3)}& {\mathcal{L}}^{\text{SSIM}}(P)=\frac{1}{N}\underset{p\in P}{\sum }1-\text{SSIM}(p)(4)\end{array}$$

但是SSIM计算时是和周围像素比较，上式显然没有考虑像素在边界的情况，所以损失函数可以改写为：

SSIM(P)=1−SSIM(p̃ ),(5)(4) $$\begin{array}{}\text{(4)}& {\mathcal{L}}^{\text{SSIM}}(P)=1-\text{SSIM}(\tilde{p}),(5)\end{array}$$

此时后面的p’代表中心点的像素。
最后，SSIM的微分形式为：

∂SSIM(P)∂x(q)==−∂∂x(q)SSIM(p̃ )−(∂l(p̃ )∂x(q)⋅cs(p̃ )+l(p̃ )⋅∂cs(p̃ )∂x(q)),(5)(5) $$\begin{array}{rcl}\frac{\mathrm{\partial }{\mathcal{L}}^{\text{SSIM}}(P)}{\mathrm{\partial }x(q)}& =& -\frac{\mathrm{\partial }}{\mathrm{\partial }x(q)}\text{SSIM}(\tilde{p})\\ \text{(5)}& & =& -\left(\frac{\mathrm{\partial }l(\tilde{p})}{\mathrm{\partial }x(q)}\cdot cs(\tilde{p})+l(\tilde{p})\cdot \frac{\mathrm{\partial }cs(\tilde{p})}{\mathrm{\partial }x(q)}\right),\end{array}(5)$$

其中 ∂l(p̃ )∂x(q)=2⋅GσG(q−p̃ )⋅(μy−μx⋅l(p̃ )μ2x+μ2y+C1)(6) $\begin{array}{}\text{(6)}& \frac{\mathrm{\partial }l(\tilde{p})}{\mathrm{\partial }x(q)}=2\cdot G_{{\sigma }_G}(q-\tilde{p})\cdot \left(\frac{{\mu }_y-{\mu }_x\cdot l(\tilde{p})}{{\mu }_x^2+{\mu }_y^2+C_1}\right)\end{array}$ , ∂cs(p̃ )∂x(q)=2σ2x+σ2y+C2⋅GσG(q−p̃ )⋅[(y(q)−μy)−cs(p̃ )⋅(x(q)−μx)],(7) $\begin{array}{rcl}\frac{\mathrm{\partial }cs(\tilde{p})}{\mathrm{\partial }x(q)}& =& \frac{2}{{\sigma }_x^2+{\sigma }_y^2+C_2}\cdot G_{{\sigma }_G}(q-\tilde{p})\cdot [\left(y(q)-{\mu }_y\right)\\ \text{(7)}& & & -cs(\tilde{p})\cdot \left(x(q)-{\mu }_x\right)],\end{array}$

MS-SSIM

   σG ${\sigma }_G$的大小影响图像的效果，较小会失去保持局部的能力，较大会保持边缘噪声，因此使用多尺度的SSIM即MS-SSIM,定义如下：

MS-SSIM(p)=lαM(p)⋅∏j=1Mcsβjj(p)(6)(8) $$\begin{array}{}\text{(8)}& \text{MS-SSIM}(p)=l_M^{\alpha }(p)\cdot \underset{j=1}{\overset{M}{\prod }}c{s}_j^{{\beta }_j}(p)(6)\end{array}$$

损失函数类似SSIM，可以表示为

MS-SSIM(P)=1−MS-SSIM(p̃ ).(7)(9) $$\begin{array}{}\text{(9)}& {\mathcal{L}}^{\text{MS-SSIM}}(P)=1-\text{MS-SSIM}(\tilde{p}).(7)\end{array}$$

微分形式为：

∂MS-SSIM(P)∂x(q)=(∂lM(p̃ )∂x(q)+lM(p̃ )⋅∑i=0M1csi(p̃ )∂csi(p̃ )∂x(q))⋅∏j=1Mcsj(p̃ ),(8)(10) $$\begin{array}{rcl}\frac{\mathrm{\partial }{\mathcal{L}}^{\text{MS-SSIM}}(P)}{\mathrm{\partial }x(q)}& =& \left(\frac{\mathrm{\partial }{l}_M(\tilde{p})}{\mathrm{\partial }x(q)}+l_M(\tilde{p})\cdot \underset{i=0}{\overset{M}{\sum }}\frac{1}{c{s}_i(\tilde{p})}\frac{\mathrm{\partial }c{s}_i(\tilde{p})}{\mathrm{\partial }x(q)}\right)\\ \text{(10)}& & & \cdot \underset{j=1}{\overset{M}{\prod }}c{s}_j(\tilde{p}),(8)\end{array}$$

MS-SSIM和L1结合

   MS-SSIM和SSIM对亮度和色彩变化可能会更迟钝，但是可以较好的保持高频信息，L1则可以较好的保持颜色亮度特征，因此可以将它们结合起来，综合损失函数如下：

Mix=α⋅MS-SSIM+(1−α)⋅GσMG⋅ℓ1,(9)(11) $$\begin{array}{}\text{(11)}& {\mathcal{L}}^{\text{Mix}}=\alpha \cdot {\mathcal{L}}^{\text{MS-SSIM}}+(1-\alpha )\cdot G_{{\sigma }_G^M}\cdot {\mathcal{L}}^{{\ell }_1},(9)\end{array}$$

这里 α $\alpha$ 设定为0.84。

结果

  图像去噪，超分辨和图像去伪影的对比表分别如下所示,可以看出混合后的效果最好：

   论文还对损失函数的收敛性进行研究，说明L1收敛性比L2更好，如下图所示，在切换损失函数前，L1下降更快，说明L2之前可能陷入局部最小。