2024-09-30，由中国人民解放军陆军工程大学、南开大学、南京邮电大学和南京理工大学的研究人员联合创建了HazyDet数据集，目的解决无人机在恶劣天气条件下的环境感知问题。这个数据集的推出，极大地填补了相关基准测试的空白，为无人机目标检测技术的发展和评估提供了宝贵的资源。
一、研究背景：
随着无人机在各个领域的广泛应用，如精准农业、城市交通管理和军事侦察等，其搭载的摄像头的感知能力成为了应用成功的关键。然而，无人机捕获的图像在恶劣天气条件下，如雾天，往往面临着能见度低和颜色失真等问题，这对目标检测技术提出了更高的要求。
目前遇到困难和挑战：
1、无人机图像因高度和视角变化导致的目标尺寸变化大，难以检测。
2、无人机图像中目标分布不均匀，与常规视角下的图像有显著差异。
3、恶劣天气条件下的图像退化和特征域差异，导致传统目标检测方法性能下降。
数据集地址：HazyDet|无人机数据集|物体检测数据集
二、让我们一起来看一下HazyDet数据集
HazyDet是一个大规模数据集，专为无人机在雾天条件下的目标检测而设计，包含了从自然雾天环境和正常场景中模拟雾效的合成图像中收集的383,000个真实世界实例。 数据集构建 ：
研究者们收集了大量在正常天气条件下的标注数据，并使用大气散射模型（ASM）来模拟和生成针对雾天条件的大规模无人机检测数据集。此外，还创建了一个独立的Real-hazy Drone Detection Testing Set（RDDTS），用于在真实世界条件下评估检测器的性能。
数据集特点 ：
1、真实性高，与真实无人机捕获的雾天条件非常接近；
2、包含丰富的标注信息，适合进行目标检测和图像恢复研究；
3、数据集展现了无人机视角下目标尺寸和深度之间的相关性，为无人机图像解读提供了重要背景。
数据集提供了合成数据和真实数据，可以用于训练和测试目标检测模型。研究者可以利用这些数据来开发和评估在雾天条件下鲁棒性更强的目标检测算法。
基准测试 ：
通过在HazyDet数据集上的广泛评估，研究者们展示了所提出方法的灵活性和有效性，实现了显著的性能提升，并建立了基准测试和排行榜，为研究社区提供了一个了解现有方法局限性和开发鲁棒解决方案的平台。
无人机在恶劣天气下进行物体检测面临的挑战。（a） 和 （b） 分别显示了无人机视角引起的尺度变化和分布不均匀;（c） 和 （d） 显示了恶劣天气引起的图像失真和特征域间隙。
HazyDet 中的图像和注释：第一行和第二行显示正常天气条件下的图像及其深度图;第三行显示合成雾度图像;第四行显示来自 RDDTS 的真实数据。在 （a） 和 （b） 中，显示了透视的变化（例如倾斜和垂直）;在 （c） 和 （d） 中，显示了场景的变化（例如城市和农村）;在 （e） 和 （f） 中，显示光照变化
HazyDet 数据集的构建过程，重点介绍数据收集和处理方法。带注释的正常天气数据使用 ASM 模拟，而半自动注释则用于最初未注释的雾天气数据。
雾景与其他数据集的真实性比较：客观指标（上图）和主观视觉评估（下图）
DeCoDet框架：
DeCoDet（Depth-Conditioned Detector）框架的作用使得无人机在雾天条件下进行目标检测时，能够更准确地识别和定位目标，即使在能见度低和颜色失真的条件下也能保持较高的检测性能。具体来说，DeCoDet通过以下几个关键组件来实现这一目标：
1、多尺度深度感知检测头（Multi-scale Depth-aware Detection Head，MDDH）：这个组件使网络能够在不同尺度上学习深度信息。这对于理解场景的全局分布（如区分天空和地面）和提供详细的场景线索（有助于检测小目标）至关重要。
2、深度提示条件核（Depth-cue Condition Kernel，DCK）模块：这个模块动态生成基于深度提示的特征滤波器内核，用于调节分类和回归特征。这种方法允许网络根据像素级的深度提示动态分配权重，优先考虑最具信息量的视觉元素，从而提高在不同空间位置适应视觉模式的能力。
3、尺度不变翻新损失（Scale Invariant Refurbishment Loss，SIRLoss）：这是一个设计的损失函数，它通过尺度不变的误差度量和标签翻新来实现稳定的深度学习。这个损失函数专注于对数深度值之间的差异而不是绝对尺度，有助于网络从噪声标签中学习准确的深度信息。
DeCoDet 的框架。DeCoDet 利用多尺度深度感知检测头 （MDDH） 来学习深度信息，并使用深度图计算尺度不变翻新 （SIRLoss）。然后，学习到的特征用于动态生成深度提示条件核 （DCK），该核对分类和回归特征进行调节，从而影响检测行为。
三、让我们展望HazyDet数据集的应用：
比如，我是一名无人机操作员
以前，当大雾笼罩森林或者山区，有登山者或者露营者失踪时，我们通常会面临一个难题：怎样在这种能见度极低的环境中快速定位失踪人员？通常情况下，我们会依赖地面搜救队伍，但这种方法效率不高，尤其是在地形复杂或者面积广阔的区域。有时候，我们也会出动无人机进行空中搜索，但因为雾气太重，无人机搭载的摄像头很难看清地面情况，经常是“睁眼瞎”，搜寻效果并不理想。
但是，有了HazyDet数据集训练出来的系统，给我们搜救工作带来极大的改变。
现在，就算是在大雾弥漫的天气里，无人机也能够清晰地识别出地面上的人形或者其他重要标志。
比如，这次在山区发生了一起徒步旅行者失踪事件。那几天，山区正好被浓雾笼罩，能见度非常低。如果是以前，我们可能要等到天气好转才能开始空中搜索。但这次，我们直接派出了搭载最新识别系统的无人机。在浓雾中，无人机通过HazyDet数据集训练出的算法，能够识别出地面上的细微特征，比如失踪者的衣服颜色、背包形状，甚至是他们留下的脚印。
无人机在失踪区域上空飞行，通过实时传输回来的图像，我们的操作员在控制中心就能清楚地看到地面情况。没过多久，无人机就在一片密林中发现了失踪者的身影。我们迅速通知了地面搜救队伍，他们很快就到达了指定位置，成功救出了失踪者。
现在，即使在恶劣的天气条件下，无人机也能成为我们可靠的“眼睛”，帮助我们在第一时间找到失踪人员，大大提高了搜救的成功率和效率。这不仅节省了宝贵的救援时间，也提高了救援人员和失踪者的安全。