LiDAR（激光雷达）和Camera（摄像机）这两个传感器几乎在每个机器人或是自动驾驶汽车中都被广泛使用。最近我的毕设开题思路中也需要用到这两个传感器，将它们布设在路侧或者车上，也因此涉及到了两个传感器的融合。在这里写一篇随笔来记录我的学习。
激光雷达 LiDAR
激光雷达发出激光并根据在周围反射并返回的光线在周围的环境中提供点。在这里我可选的激光雷达是Velodyne 16线 128线和不知名单线激光雷达。这些雷达都提供360°的水平视场（FOV）和大概15°的有限垂直视场。LiDAR的主要优点是它可以提供高度准确的深度值。但是，它们的输出是稀疏的，即它们不会提供非常高分辨率的输出。
摄像机 Camera
普通的摄像机（单目摄像机）在生活中很常见，优势在于可给出一个清晰，可选高分辨率的图像，劣势在于视场有限，聚焦于有限视场，且没有深度值信息。
融合 Fusion
将LiDAR和Camera的输出相结合有助于克服其各自的局限性，优势互补。从图像中发现深度信息进行目标检测等应用。相机和LiDAR的融合可以通过两种方式完成——数据融合或结果融合。
数据融合 Data Fusion
第一种融合方法是数据融合。此处涉及到了两类传感器的标定，标定与你的安装位置有关，原理是找到一个参考点（找到Lidar和Camera的FOV交点），使Camera输出的图片和Lidar输出的点云信息重合。而后给图像的每个像素给予深度信息，或是给予雷达点云RGB信息，输出成彩色点云。
结果融合 Result Fusion
与其说结果融合不如说是交叉验证。结果融合就是说我们分别在相机图像和Lidar点云中进行对象检测，并融合结果以增强我们的信心。我们分别处理相机图像，获取输出并针对处理后的Lidar输出进行验证，反之亦然。这是一种非常有用的融合方法，因为它可以帮助提高系统的可靠性。
主要的重点领域是找到一种理想的实时方式，从一个空间转换到另一个空间。这使我们能够在Lidar空间中找到与某些像素相对应的点，反之亦然。
Lidar和Camera的融合存在很多子问题，包括这些传感器的手动和自动校准，深度图像的上采样等，并且关于这些主题的研究很多。
数据集 Data Set
最著名的雷达+摄像头数据是KITTI，也有nuScenes数据集，在本站上搜索雷达+摄像头数据集有关于它们更详细的介绍。
参考
Navin Rahim,https://medium.com/@navin.rahim/sensor-fusion-of-lidar-and-camera-an-overview-697eb41223a3,2018