10、论文阅读:基于双阶对比损失解纠缠表示的无监督水下图像增强-引言

时间:2024-10-08 13:34:25

在过去的几十年中,已经提出了许多方法来增强水下图像,包括传统方法(基于图像的方法和基于模型的方法)、“零样本”方法以及数据驱动的方法(基于监督和无监督的方法)

基于图像的方法旨在通过平衡颜色、提高对比度和锐化细节来校正每个像素。然而,由于缺乏模型约束,这些方法不足以恢复原始场景,并且在退化严重时可能会失效。

相比之下,基于模型的方法利用了一些先验知识,例如雾线先验和水下暗通道先验。然而,这些方法过于依赖先验的准确性,如果先验与真实情况有较大偏差,则增强方法将失效。

最近,“零样本”方法只使用单个输入图像,并基于一些手工设计的先验来训练一个小的特定图像网络。然而,“零样本”方法在测试时需要大量迭代,这在实际应用中效率较低。

此外,数据驱动算法利用大量数据来近似数据之间的映射,因此与传统方法相比,性能得到了极大的提升。不同于其他低级任务(如图像去雾和低光图像增强),在相同场景下获得非退化的水下图像是不现实的。因此,现有的基于监督的方法通常使用合成数据或伪参考作为训练的折中方法,但这些配对数据都有一些缺陷。对于合成数据,现有的基于物理模型的合成方法忽略了成像过程中许多因素,因此它们对水下多样退化的建模能力有限。因此,在合成数据集上训练的模型在真实场景中由于域偏移而表现出较差的泛化能力。对于伪参考数据,最常用的数据集是UIEB,由50名志愿者对12种增强方法进行评分而得到的,但这并不是真正的真实值。更重要的是,由于配对水下图像数量有限,训练用于多种退化的深度增强模型非常具有挑战性。

相比之下,基于无监督的方法不受配对数据的约束,并且越来越多地应用于各种视觉任务。然而,据我们所知,目前关于无监督的水下图像增强(UIE)的研究非常少。最相似的任务是地面上的无监督图像去雾(UID)。它们主要使用无退化的图像通过一个判别器来引导退化图像的增强,但水下图像的无退化版本是不可用的。此外,与雾霾图像相比,水下图像存在严重的颜色失真,因此直接将UID方法应用于UIE会产生严重的伪影和额外的色调。受到