摘要
本文提出了一种基于卷积神经网络（CNN）的图像去雾模型，称为AOD-Net。它是基于重新变形的大气散射模型设计的。AOD-Net不是像大多数先前模型那样分别估算传输图和大气光值，而是通过轻量级CNN直接生成去雾后的图像。这种新颖的端到端设计使得将AOD-Net更容易嵌入其他深度模型（例如，faster R-CNN）中，改善对有雾图像的高级任务性能。在合成和自然有雾图像数据集上的实验结果证明了在PSNR，SSIM和主观视觉质量方面优于现有技术的优越性能。此外，当将AOD-Net与更快的R-CNN联合训练时，我们目睹了对有雾图像的对象检测性能的大幅提升。
关键词： 去雾，图像恢复，深度学习，联合训练，目标检测
前言
由于存在诸如灰尘，雾和烟的气溶胶，雾的存在给相机捕获的图像增加了复杂的噪声。它会大大降低室外图像的可见度，对比度降低，表面颜色变暗。此外，有雾的图像将使许多后续高级计算机视觉任务的有效性受到威胁，例如物体检测和识别。因此，广泛考虑了去雾算法，作为（不适定的）图像恢复和增强的具有挑战性的实例，类似于图像去噪和超分辨率[37]，[15]等其他问题，早期的去雾工作[23]，[30]，[38]，[12]假设来自同一场景的多个图像的可用性。 然而，从单个图像中去雾现在已经占据了主导地位，因为它对于实际设置更为实用[7]。 本文重点研究了单幅图像去雾问题。
以前的工作
作为用于去雾的先验知识，有雾图像生成遵循广为接受的物理模型（详见第II-A节）。 除了估计全球大气光值之外，已经认识到实现去雾的关键是传输矩阵的恢复。 [7]通过估计场景的反照率提出了一种物理接地方法。 [9]，[34]发现有效暗通道先验（DCP）更可靠地计算传输矩阵，然后是一系列工作[13]，[24]，[36]。 [20]强制执行边界约束和上下文正则化以获得更清晰的恢复图像。在[33]中提出了一种自动恢复大气光的加速方法。 [45]先前开发了颜色衰减，并为有雾图像创建了场景深度的线性模型，然后以监督的方式学习了模型参数。 [16]说明了联合估计场景深度并从有雾视频序列中恢复清晰潜像的方法。 [1]提出了一种基于非局部先验（hazeline）的算法，基于清晰图像中的每个颜色簇成为RGB空间中的雾度线的假设。所有上述方法都取决于物理模型和各种复杂的图像统计假设。 然而，由于从单个图像估计物理参数通常是不准确的，因此上述方法的去雾性能似乎并不总是令人满意。 最近，随着卷积神经网络（CNN）在计算机视觉任务中取得了普遍的成功，它们也被引入到图像去雾中。 DehazeNet [3]提出了一种可训练的模型来估计一个有雾图像的传输矩阵。 [27]进一步利用了多尺度CNN（MSCNN），首先生成了一个粗尺度的传输矩阵，然后对其进行细化。
主要挑战和瓶颈
没有端到端的去雾： 大多数用于图像恢复和增强的深度学习方法都完全采用端到端建模：训练模型直接从损坏的图到清晰的图像。 包括图像去噪[42]，去模糊[31]和超分辨率[41]。 相比之下，迄今为止还没有用于去雾的端到端深度模型，它直接从有雾的模型中回归无雾的图像。 然在第一眼看上去可能看起来很奇怪，但人们需要认识到雾本质上会带来不均匀的，依赖于信号的噪声：由雾引起的表面场景衰减与相机表面之间的物理距离相关（即像素深度）。这与大多数图像降级的假设即与信号无关的噪声模型不同，在这种情况下，所有信号都经历相同的参数化降级过程。 因此，可以使用一个静态映射功能轻松建模其恢复模型。 同样不能直接应用于除雾：降解过程因信号而异，并且恢复模型的输入也必须是自适应的。
现有方法具有相同的概念，即为了从有雾图像中恢复清晰图像，关键要估计精确的介质传输图[1]，[3]，[27]。通过经验规则分别计算大气光值，并且基于物理模型恢复清晰图像。尽管是直观的，但是这样的过程不直接测量或最小化重建失真。用于估计介质传输图和大气光值的两个单独步骤中的误差将累积并且可能相互放大。结果，传统的单独过程产生了次优的图像恢复质量。
缺少与高级视觉任务的链接： 目前，去雾模型依赖于两组评估标准：(1) 对于合成的有雾图像，其地面实况清晰图像是已知的，通常计算PSNR和SSIM来测量恢复精度;(2) 对于具有未知地面真实的真实自然有雾图像，唯一可用的评估标准是主观视觉质量。然而，与图像去噪和超分辨率结果不同，其视觉伪像的抑制效果是可见的（例如，在纹理和边缘上），现有技术的去雾模型[1]，[3]，[27]之间的视觉差异通常表现在全球的照明和基调中，往往太微妙而无法分辨。
一般的图像恢复和增强，被称为低级视觉任务的一部分，通常被认为是中级和高级视觉任务的预处理步骤。众所周知，诸如目标检测和识别之类的高级计算机视觉任务的性能将在存在各种劣化的情况下恶化，然后在很大程度上受到图像恢复和增强的质量的影响。然而，根据我们的最佳知识，没有探索将去雾算法和结果与高级视觉任务性能相关联。
主要贡献： 本文提出了一体化去雾网络（AOD-Net），这是一种基于CNN的除、去雾模型，具有两个关键创新，以应对上述两个挑战：
- 我们是第一个提出可训练的端到端的去雾模型，它直接从有雾图像中产生清晰图像，而不是依赖于任何单独的和中间的参数估计步骤1。 AOD-Net是基于重新变形的大气散射模型设计的，因此保留了与现有工程相同的物理基础[3]，[27]。 然而，它建立在我们不同的概念之上，即物理模型可以以“更多端到端”的方式制定，其所有参数都在一个统一的模型中进行估算。
- 我们是第一个定量研究去雾质量对后续高级视觉任务的影响，这是比较去雾效果的新客观标准。此外，AOD-Net可以与其他深层模型无缝嵌成一G个管道，在有雾图像上执行高级任务，具有隐式的去雾过程。由于我们独特的一体化设计，这种管道可以从头到尾联合调整，以进一步提高性能，如果用其他深层去雾网络替代AOD-Net是不可行的[3]，[27]。
AOD-Net在合成有雾图像上进行训练，并在合成和真实自然图像上进行测试。实验证明了AOD-Net优于几种最先进的方法，不仅包括PSNR和SSIM（见图1），还包括视觉质量（见图2）。作为一款轻量级且高效的型号，AOD-Net的成本仅为0.026秒，可通过单个GPU处理一个480×640图像。当与更快的R-CNN [26]连接时，AOD-Net在改善有雾图像上的物体检测性能方面明显优于其他去雾模型，当我们端对端的调整AOD-Net和更快R-CNN的流水线时，性能余量得到进一步提升。
本文从以前的会议版本[14]扩展而来。 本文最引人注目的改进在于第四部分，我们对评估和增强目标检测的去雾进行了深入的讨论，并介绍和分析了联合训练部分的细节。还对AOD-Net的架构进行了更详细和全面的分析（例如第III-D节）。此外，我们还包括更广泛的比较结果。
AOD-NET
在本节中，解释了AOD-Net。我们首先介绍了转换后的大气散射模型，在此基础上设计了AOD-Net。然后详细描述AOD-Net的体系结构。
物理模型及变形公式
大气散射模型一直是有雾图像生成的经典描述[19]，[21]，[22]：
其中I(x)被观察到有雾图像，J(x)是要恢复的场景即，理想的“清晰图像”）。 两个关键参数：A表示全球大气光,t(x)是介质传输图，定义如下：
其中β是大气的散射系数,d(x)是物体和相机之间的距离（景深）。我们可以将清晰图像的模型（1）重新编写为输出：
现有工作诸如[27]，[3]之类遵循三个相同的程序：1）使用复杂的深度模型从有雾图像I(x)估计介质传输图t(x); 2）使用一些经验方法估计A; 3）通过公式（3）估计清晰图像J(x)。这样的过程导致次优解决方案，其不直接最小化图像重建误差。当将它们组合在一起计算（3）时，对t(x)和A的单独估计将导致误差累积或甚至放大。
我们的核心思想是将两个参数t(x)和A统一为一个公式，即（4）中的K（x），并直接最小化像素域重建误差。为此，将（3）中的公式重新表示为下面的转换公式：
以这种方式，t(x)和A都被集成到新变量K(x)中。b是默认值为1的恒定偏差。由于K(x)依赖于I(x)。因此我们的目标是构建输入自适应深度模型，其参数将随输入有雾图像而变化，从而最小化输出J(x)和地面实况清晰图像之间的重建误差。
网络设计
AOD-Net由两个模块组成，如图4（a）所示：一个K估计模块，用于从输入I(x)中估计K(x)，然后是一个利用K(x)的清晰图像生成模块，K(x)作为其输入自适应参数来估计J(x)
K估算模块是AOD-Net的关键组成部分，负责估算深度和相对雾浓度水平。 如图4（b）所示，我们使用五个卷积层，并通过融合不同大小的卷积核形成多尺度特征。在[3]中，在第二层中使用具有不同卷积核尺寸的并行卷积。 [27]将粗尺度网络特征与细尺度网络的中间层连接起来。受它们的启发，AOD-Net的“concat1”层连接层“conv1”和“conv2”的特征。 类似地，“concat2”连接来自“conv2”和“conv3”的特征; “concat3”连接来自“conv1”，“conv2”，“conv3”和“conv4”的特征。这种多尺度设计捕获不同尺度的特征，并且中间连接还补偿卷积期间的信息损失。 值得注意的是，AOD-Net的每个卷积层仅使用三个卷积核。因此，与现有的深层方法相比，AOD-Net重量轻，例如[3]，[27]。在K估计模块之后，清晰图像生成模块由逐元素乘法层和若干元素加法层组成，以便通过计算（4）生成恢复的图像。
为了证明将t(x)和A联合在一个公式中的重要的，我们比较一个初始基线，即首先使用传统方法[9]估计A，然后端到端从（3）学习t(x) ，通过最小化重建误差来深入网络（参见第III节的合成设置）。如图3所示，发现基线过高估计A并导致过度暴露的视觉效果。AOD-Net明显产生更真实的照明条件和结构细节，因为t(x)和A的联合估计使它们能够相互重新关联。其他超参数的不准确估计（例如，伽马校正）也可以在一体化公式中折中和补偿。
去雾效果的评价
数据集和实验
我们通过公式（1）创建合成的有雾图像，使用来自室内NYU2深度数据库的深度元数据的地面实况图像[32]。我们设置不同的大气光A，通过在[0.6,1.0]之间均匀地选择每个通道，并选择β∈{0.4,0.6,0.8,1.0,1.2,1.4,1.6}。对于NYU2数据库，我们将27,256个图像作为训练集，将3,170个图像作为非重叠的测试集A.我们还将来自Middlebury立体数据库的800个全尺寸合成图像作为测试集B。此外，我们用自然有雾的图像来评估我们的模型。
在训练过程中，使用高斯随机变量初始化权重。我们利用ReLU神经元，因为我们发现它比我们在特定环境中[3]提出的BReLU神经元更有效。 动量和衰减参数分别设置为0.9和0.0001。 我们使用8个图像（480×640）的批量大小，学习率为0.001。我们采用简单的均方误差（MSE）损失函数，发现它不仅提升了PSNR，还提升了SSIM以及视觉质量。
AOD-Net模型需要大约10个训练时期才能收敛，并且通常在10个时期之后表现良好。在本文中，我们已经训练了40个时期的模型。还发现剪切渐变以约束[-0.1,0.1]范围内的范数也很有帮助。该技术在稳定复现网络训练方面很受欢迎[25]。
合成数据集上的质量评估
我们将所提出的模型与几种最先进的去雾方法进行了比较：快速可见性恢复（FVR）[35]，暗通道先验（DCP）[9]，边界约束上下文正则化（BCCR）[20]，自动大气光恢复（ATM）[33]，彩色衰减先前（CAP）[45]，非局部图像去雾（NLD）[1]，[2]，DehazeNet [3]和MSCNN [27]。在之前的实验中，由于在真实有雾图像上进行测试时没有无雾霾的真实性，因此报告了很少有关于修复质量的定量结果。 我们合成的有雾图像伴随着地面真实图像，使我们能够在PSNR和SSIM方面比较那些去雾结果。
表I和III-B分别显示了测试集A和B上的平均PSNR和SSIM结果。由于AOD-Net在MSE损失下从端到端进行了优化，因此看到其PSNR性能高于其他产品并不令人惊讶。更有吸引力的是观察到AOD-Net比所有竞争对手获得更大的SSIM优势，尽管SSIM没有被直接推荐为优化标准。由于SSIM测量超出像素误差并且众所周知更忠实地反映人类感知，我们变得好奇通过哪一部分 AOD-Net实现了这种持续改进。
我们进行以下调查：测试集B中的每个图像被分解为平均图像和残差图像的总和。前者由具有相同平均值的所有像素位置构成（图像上三通道的平均矢量）。 很容易证明两个图像之间的MSE等于它们在两个残留图像之间添加的平均图像之间的MSE。平均图像大致对应于全局照明并且与A相关，而残差更多地涉及局部结构变化和对比等。我们观察到AOD-Net产生类似的残余MSE（在测试集 B上平均）到一些竞争对手 DehazeNet和CAP等方法。 但是，AOD-Net结果的平均部分的MSE明显低于DehazeNet和CAP，如表III所示。由此暗示，由于我们在端到端重建损失下的联合参数估计方案，AOD-Net可能更能够正确地恢复A（全局照明）。 由于人眼对全局照明的大变化肯定比对任何局部失真更敏感，因此AOD-Net的视觉效果也明显更好，而其他一些结果通常看起来不切实际。
上述优点也体现在计算SSIM [39]的照明（1）项中，并部分解释了我们强大的SSIM结果。SSIM收益的另一个主要来源似乎来自对比（c）项。 例如，我们随机选择五个图像进行测试，测试集B上AOD-Net结果的对比值平均值为0.9989，显着高于ATM（0.7281），BCCR（0.9574），FVR（0.9630），NLD（0.9250），DCP （0.9457），MSCNN（0.9697），DehazeNet（0.9076）和CAP（0.9760）。
定性视觉结果
合成图像：图5显示了来自测试集A的合成图像的去雾效果。我们认为，AOD-Net结果通常具有更清晰的轮廓和更丰富的色彩，并且在视觉上更忠实于地面真相。
具有挑战性的自然图像：虽然通过室内图像进行合成训练，但ADO-Net可以很好地概括为室外图像。我们根据一些自然图像示例的现有技术方法对其进行评估，这些示例比[9]，[8]，[3]的作者发现的一般室外图像显着更具挑战性。挑战在于高度杂乱的物体，细微纹理或照明变化的主导地位。如图6所示，FVR遭受过度增强的视觉伪影。DCP，BCCR，ATM，NLD和MSCNN在一个或多个图像上产生不切实际的色调，例如第二行上的DCP，BCCR和ATM结果（注意天空颜色），或第四行上的BCCR，NLD和MSCNN结果 （注意石头颜色）。CAP，DehazeNet和AOD-Net拥有最具竞争力的视觉效果，具有合理的细节。然而，仔细观察，我们仍然观察到CAP有时会有雾图像纹理，而DehazeNet会使某些区域变暗。AOD-Net恢复更丰富和更饱和的颜色（比较第三和第四行结果），同时抑制大多数伪像。
白色风景自然图像：白色场景或物体一直是去雾的主要障碍。许多有效的先验如[9]在白色物体上失效，因为对于与大气光相似颜色的物体，透射值接近于零。 DehazeNet [3]和MSCNN [27]都依赖于精心挑选的滤波操作进行后处理，从而提高了它们对白色物体的稳健性，但不可避免地牺牲了更多的视觉细节。
虽然AOD-Net没有明确考虑处理白色场景，但我们的端到端优化方案似乎在这里提供了更强的鲁棒性。图7显示了白色场景的两个有雾图像以及通过各种方法的去雾结果。很容易注意到DCP结果的无法忍受的瑕疵，特别是在第一行的天空区域。这个问题得到缓解，但仍然存在CAP，DehazeNet和MSCNN结果，而AOD-Net几乎无人工作。此外，CAP似乎有雾了白色物体的纹理细节，而MSCNN创建了过度增强的相反伪影。 AOD-Net设法去雾，而不会引入假色调或扭曲的物体轮廓。
无雾图像上的小伤害：尽管AOD-Net受到雾影响，但它具有非常理想的特性，如果它没有雾，它对输入图像几乎没有负面影响。这赞同我们的K估计模块的稳健性和有效性。图8显示了来自Colorlines的两个具有挑战性的清晰图像的结果[8]。
图像防光晕：我们尝试在AOD-Net上进行另一项图像增强任务，称为图像防光晕，无需重新训练。光晕是光线超出适当边界的扩散，在照片的明亮区域形成不希望的雾化效果。与去雾相关但遵循不同的物理模型，AOD-Net的反光晕结果也是不错的：参见图9的一些例子。
多尺度特征的有效性
在本节中，我们特别分析了K估计模块的层间级联的有用性，它结合了来自不同大小滤波器的多尺度特征。我们推测，尽管经验发现，当前的连接方式通过将几个连续的较低层连续地馈送到紧接的下一层，促进了从低级到高级的平滑特征转换。为了进行比较，我们设计了一个基线：“conv1→conv2→conv3→conv4→conv5（K）”，它不涉及层间连接。 对于测试集A，平均PSNR为17.0517 dB，SSIM为0.7688。对于测试集B，平均PSNR为22.3359 dB，SSIM为0.9032。这些结果通常不如AOD-Net（除了测试集 B上的PSNR略高），特别是两个SSIM值都受到显着下降的影响。
运行时间比较
AOD-Net的轻质结构导致更快的去雾。我们在同一台机器（Intel（R）Core（TM）i7-6700 [email protected]和16GB内存）上选择50个来自测试集 A的图像供所有型号运行，无需GPU加速。 所有型号的每图像平均运行时间如表IV所示。尽管其他较慢的Matlab实现，比较DehazeNet（Pycaffe版本）和我们的[11]是公平的。结果表明AOD-Net具有很高的效率，每张图像仅占DehazeNet的1/10。
超越恢复：评估和改善目标检测的弊端
高级计算机视觉任务，如目标检测和识别，涉及视觉语义，并受到了极大的关注[26]，[43]。 然而，这些算法的性能可能在很大程度上受到实际应用中各种降级的危害。传统方法在进入目标任务之前采用单独的图像恢复步骤。最近，[40]，[17]验证了恢复和识别步骤的联合优化将显着提高传统两种方法的性能。然而，之前的作品[44]，[5]，[4]主要仅针对图像分类任务，研究了噪声，模糊和低分辨率等常见降级的影响和补救措施。据我们所知，没有类似的工作来定量研究雾的存在如何影响高级视觉任务，以及如何使用联合优化方法来减轻其影响。
我们研究了存在雾时的物体检测问题，作为高级视觉任务如何与除雾相互作用的一个例子。我们选择更快的R-CNN模型[26]作为强基线4，并测试合成和自然有雾图像。然后，我们将AOD-Net模型与更快的R-CNN模型连接起来，作为一个统一的管道进行联合优化。从我们的实验得出的一般结论是：随着雾度变重，物体检测变得不太可靠。在所有雾霾条件下（轻度，中度或重度），我们的联合调谐模型不断改进检测，超越天真更快的R-CNN和非关节方法。
Pascal-VOC 2007与合成雾度的定量结果
我们从Pascal VOC 2007数据集（称为地面实况）创建了三个合成集[6]：重雾（A = 1，β= 0.1），中雾（A = 1，β= 0.06）和轻雾（A） = 1，β= 0.04）。通过[18]中描述的方法预测深度图。每组都分为非重叠训练集和测试集。首先，我们在没有任何网络调整的情况下比较五种方案：（1）无经验的FasterRCNN：使用在清晰的Pascal-VOC 2007上预训练的模型直接输入有雾图像; （2）DehazeNet +更快的R-CNN：首先使用DehazeNet进行除雾，然后使用更快的RCNN; （3）MSCNN +更快的R-CNN：使用MSCNN进行第一次除雾，然后使用更快的R-CNN; （4）DCP +更快的R-CNN：使用DCP进行第一次除雾，然后使用更快的R-CNN; （5）AODNet +更快的R-CNN：AOD-Net与更快的RCNN连接，没有任何联合调整。
我们计算三个测试集的平均精度（mAP），如表V中的前三行所示。清晰的Pascal-VOC 2007测试集上的mAP为0.6954。我们可以看到，重度雾使mAP降低了近0.18。通过在检测之前使用各种去雾方法进行第一次去雾，mAP得到了很大改善。其中，DCP +更快的R-CNN表现最佳，重雾度提高21.57％。没有任何联合调整，AOD-Net + Faster RCNN的性能与MSCNN +更快的R-CNN相当，并且看起来比DCP +更快的R-CNN更差。
由于我们的一体化设计，AODNet + Faster R-CNN的管道可以从头到尾联合优化，以提高对有雾图像的物体检测性能。 我们分别为三个有雾图像的训练集调整AOD-Net + Faster R-CNN，并调用这个调整版JAOD-Faster RCNN。我们在第一次35,000次迭代中使用0.0001的学习率，在接下来的65,000次迭代中使用0.00001，两者的动量均为0.9，重量衰减为0.0005。 由于这种联合调整，重雾度情况下mAP从0.5794增加到0.6819，这显示了这种端到端优化的主要优势和我们独特设计的价值。为了比较，我们还在有雾图像数据集上重新训练更快的R-CNN作为比较。我们使用0.0001的学习率来调整预先训练的更快的R-CNN（在清晰的自然图像上训练）。在重新训练以适应有雾图像数据集之后，在重度雾下，再训练的快速R-CNN的mAP从0.5155增加到0.6756，同时仍然比JAOD-更快的R-CNN更差。
此外，由于实际上希望获得一个适用于任意雾度水平的单一模型，我们生成一个训练集，其中包括从[0,0.1]随机抽样的各种雾度水平。我们在这个训练集上重新调整和评估JAOD-Faster R-CNN和Retrained Faster R-CNN，其结果在表V的最后一行进行比较。尽管两者的表现都略逊于他们训练和申请的“专用”对应物。 特定的雾度水平，它们在所有三个雾度水平中表现始终如一，并且JAOD-Faster R-CNN再次优于Retrained Faster RCNN。图11描绘了在各种雾度条件下，在JAOD-Faster R-CNN和再训练更快的R-CNN方案之间每5,000次迭代的mAP比较。
自然有雾的图片结果的可视化
图10显示了对网源自然有雾图像的对象检测结果的视觉比较。比较了六种方法：（1）快速RCNN; （2）DehazeNet +更快的RCNN; （3）MSCNN +更快的R-CNN; （4）AOD-Net +更快的RCNN; （5）微调更快的R-CNN；（6）JAOD-Faster R-CNN。我们观察到雾度可能导致缺失检测，不准确的本地化以及对于更快的R-CNN的无条件类别识别。 虽然AOD-Net + Faster R-CNN已经显示出优于原始Faster-RCNN的明显优势，但JAOD-Faster R-CNN结果的性能进一步显着提升，显着超越所有其他替代方案。
请注意，AOD-Net +更快的联合优化带来的R-CNN优势有两方面：AOD-Net本身共同估算所有参数，整个流水线共同调整低水平（去雾）和高水平（检测和识别）端到端的任务。端到端的管道调整是由AOD-Net独特实现的，AOD-Net是迄今为止唯一的一体化除雾模型。
谁在提供帮助
任务特定的去网络或只是添加更多参数？ 虽然JAOD-Faster R-CNN可以说是上面所示的最佳表现者，但自然会出现一个问题：它是否是AOD-Faster R-CNN使用的参数比（Retrained）更快的R-CNN更多的结果？ 在本节中，我们展示了添加额外的图层和参数，而没有用于去雾的任务特定设计，并不一定能提高雾度中对象检测的性能。
我们设计了一个名为Auto-Faster R-CNN的新基线，用简单的卷积自动编码器取代了JAOD-Faster R-CNN中的AOD-Net部分。自动编码器与AOD-Net具有完全相同的参数量，由五个卷积层组成，其结构类似于K估计模块。我们使用与AOD-Net相同的训练协议和数据集预先训练用于除雾任务的自动编码器，并将其与更快的R-CNN连接以进行端到端调整。如表VI所示，自动更快的R-CNN的性能与AOD-Faster RCNN不相上下，并且表现得比微调更快的R-CNN更差。 回想一下，[26]验证了直接向更快的R-CNN添加额外的层并不一定能提高一般干净图像中物体检测的性能。我们的结论是它在有雾图像案件中的一贯对应。
此外，应该注意的是，虽然JAOD-Faster RCNN在更快的R-CNN之前附加了AOD-Net，但由于AOD-Net的轻量化设计，复杂性并没有增加太多。 使用NVIDIA GeForce GTX TITAN X GPU，（重新训练的）快速R-CNN的每图像平均运行时间为0.166秒，JAOD-Faster RCNN为0.192秒。
讨论和结论
讨论和结论
本文提出了AOD-Net，这是一种一体化的算法，可以通过端到端的CNN直接重建无雾图像。 我们使用客观（PSNR，SSIM）和主观标准，在合成和自然雾度图像上比较AOD-Net与各种最先进的方法。广泛的实验结果证实了AOD-Net的优越性，稳健性和有效性。 此外，我们还提出了关于AOD-Net如何通过联合管道优化提高自然模糊图像上的对象检测和识别性能的第一类研究。 可以观察到，我们的联合调谐模型在雾度存在的情况下不断改进检测，超过了更好的更快的R-CNN和非连接方式。 然而，如上所述，去雾技术与来自图像的深度估计高度相关，并且通过结合深度先验知识或精细的深度估计模块，存在改善AOD-Net的性能的空间。