文章目录
- 《多传感器同步理论》课堂问题汇总与答疑_20210703
- 1. 多个传感器标定是两两标定 还是联合标定呢?
- 2. 激光雷达与相机融合 由于运动的因素 特别是在旋转的时候 时间差一点就会造成融合很大的误差 比如说对于交通锥这种小目标 两种数据融合会可能产生半个身位甚至一个身位的误差 这种情况怎么处理呢？
- 3. 不在时间戳的数据都会扔掉吗？还是会存起来另有用处？
- 4. 如果没有ADU或者Trigger box等可以直接接入PPS信号的设备，能否将LiDAR设为PTP的master？
- 5. 课上讲空间同步那里时需要哪些基础知识？
- 6. Odom是轮式里程计吗
- 7. 运动补偿的意义是什么？
- 8. 比较关心imu怎么去除没用信息的，在里程计融合那部分。线加速度精度差，所以最终怎么用的imu
- 9. 不同radar的采样频率不同，说明雷达性能有差别吗？如13Hz和15Hz
- 10. 自动驾驶为何用rolling starter camera? ，优势在哪里？
- 11. 就是具体相机时间戳怎么打，雷达时间戳怎么打？
- 12. 在实际应用中，ms级别的时间同步精度是否够用？在哪些情况下需要更高的时间同步精度？
- 13. 课上提到的把远距相机的roi区域重采样到短距或中距相机下再进行融合是什么意思？为什么不可以直接投影过去？对于重采样的话一般的做法是什么？
- 14. 车辆静止时，激光雷达间空间同步标定之后，在车辆运动时，激光雷达的姿态发生变化。这种情况怎么解决？
- 15. 想知道PPS信号是通过什么方式进行倍频转换为多路的20HZ信号输出
- 16. PPS信号触发相机曝光之后，GPRMC的时间如何把时间戳打到相机图像帧上
- 17. 看示意图中Trigger box输出的脉冲只给到多个相机，并没有看到将触发信号给到激光雷达，所以在完成相机的时间与GPS时间同步后，激光雷达的时间如何与GPS时间同步？
- 18. 看图5的“车端时间硬同步示意图”激光雷达和相机的时间同步是需要将GPS+PPS和PTP的方式结合才能完成同步吗？
- 19. 假设雷达是10HZ相机是20HZ，如果同一时刻触发数据采集，但是相机的第一帧丢帧了，所以在雷达的第一帧中找不到相机对应的帧，面对相机丢帧的情况如何处理？
- 20. 使用GPS+PPS方式同步在GPS信号弱的地方应该会导致不能同步，这种情况如何处理？
- 21. 如图车端时间硬同步示意图中各种传感器的数据在采集给到算法处理前有做缓存吗？如果缓存应该会存在延时？
- 22. 相机+毫米波雷达融合匹配策略？
- 29. 雷达感知结果输出给到融合，融合需要做相应的哪些预处理？
- 30. 车端激光雷达如何与GPS作时间同步？
- 31. 问下视频中PPT中第18页，两幅图像关于绿色点云和粉色点云存在差异是想说明啥？
- 32. 到多相机标定中, 可以固定住平移只求旋转. 您有这方面的详细资料吗, 或者代码。
- 和lidar融合，能不能用lidar测角度，通过imu调整姿态
- 34. 多激光雷达怎么标定的，那块刚好没听，主激光雷达坐标系与车体坐标系怎么建立关系，通过测量目标物相对于车后轴中心的位姿以及在激光雷达中的位姿，进行坐标转换？
- 35. 传感器的时间戳是怎么得到的？
- 36. 目前车载相机大部分只支持基于pps的外部触发同步机制，而激光雷达一般用的是ieee 1588（ptp）的时间同步机制
- 37. 大陆的430自带SDA(自标定)，利用路沿点标定
- 38.1、传感器标定过程，有没有行业标准？是什么？ 2、传感器之间标定要达到哪些量化的结果？ 3、传感器标定是人工写规则么？ 4、深度学习与传感器标定有什么关系？
- 39.请问，把激光感知结果投影到图像，有什么好方法吗？感觉这个和多传感器标定有关系
- 40. 两个不同的camera，应该会有部分畸变和视差，这个在匹配的时候如何消除的呢？还是不消除？标定好以后长焦和短焦，对于图片的比例缩放是如何确定的？如何刚好达到图中所示的匹配呢
- 41.激光雷达用传统方法做目标识别有哪些
- 42. 激光跟imu或者组合惯导之间的外参标定距离值不是很准，有没有什么好的方法呢？
- 43. 请问在线标定有没有什么方法或者资料推荐的？
- 10.相机与Lidar同步实战
《多传感器同步理论》课堂问题汇总与答疑_20210703
1. 多个传感器标定是两两标定 还是联合标定呢?
回答：多个传感器之间标定包含两两之间的情况，传感器间的标定就可以成为联合标定。多数情况下车上应该选定一个主传感器，其他传感器与主传感器建立标定联系，然后主传感器与车体建立联系。
- 1
2. 激光雷达与相机融合 由于运动的因素 特别是在旋转的时候 时间差一点就会造成融合很大的误差 比如说对于交通锥这种小目标 两种数据融合会可能产生半个身位甚至一个身位的误差 这种情况怎么处理呢？
回答：正是这种原因，所以激光雷达使用中需要做运动补偿去除运动畸变带来的影响，（相机成像其实也有运动拖影现象，实际使用中根据情况看是否影响可以决定是否需要处理）。那实际使用中，激光雷达和相机如果做结果级融合或者数据级融合，需要你说的这种情况。一般这种情况下还需要考虑激光雷达开始扫描的角度，到合适的角度再触发相机拍照。
另外，在激光雷达与相机融合时，会考虑运动目标带来的影响，可以考虑依赖速度信息区分静止障碍物和运动障碍物，在两个传感器匹配后，再进行运动障碍物的恢复。当然在实际应用中，还可能会根据场景选择不同的融合策略。如转弯时，可以选择相机为主的融合策略。
- 1
- 2
3. 不在时间戳的数据都会扔掉吗？还是会存起来另有用处？
回答：通常情况下不会立马扔掉，代码中会有缓存队列，除非缓存满了会删掉历史数据。
- 1
4. 如果没有ADU或者Trigger box等可以直接接入PPS信号的设备，能否将LiDAR设为PTP的master？
回答：一般以gps时间为master，如果连gps都没有的话，那就选择NTP呗。一般激光雷达是被授时的。
- 1
5. 课上讲空间同步那里时需要哪些基础知识？
回答：外积，内积，旋转矩阵性质，欧式变换，欧拉角，四元数，2D-3D，3D-3D，PnP 等等
- 1
6. Odom是轮式里程计吗
回答: Odom准确的说是里程计，轮式里程计是wheel odom，其实里程计包含的范围更广。里程计包含两个重要的量，即位姿（位置转角）以及速度（前进速度和转向速度）。在车上，可以特指轮式里程计。
- 1
7. 运动补偿的意义是什么？
回答：以机械式激光雷达为例，假设目标不动，激光雷达运动扫描，不过由于激光雷达帧率10帧，间隔100ms一帧，速度慢倒还好，但如果是快速运动的话，目标在某一帧点云中出来的效果可能就不是真实的目标轮廓了。但实际中，目标往往也是运动的，所以自运动，目标运动都得作补偿。
- 1
8. 比较关心imu怎么去除没用信息的，在里程计融合那部分。线加速度精度差，所以最终怎么用的imu
回答：imu无用信息指的是噪声吗？如果是的话，可以通过采样值计算其Allen方差求解出来。当然去噪的方法有挺多或者说对imu噪声建模的方法有挺多种。
线加速度精度差，一般IMU参数关注这个线加速度对角速度的影响，所以也可以归结为线加速度的噪声影响。
- 1
- 2
9. 不同radar的采样频率不同，说明雷达性能有差别吗？如13Hz和15Hz
回答：对于毫米波雷达，采样频率其实和采样点、频率分辨率有关系。当频率分辨率一定时（采样频率分辨率一般和毫米波雷达处理时间等价），采样频率越大，采样点就越多。
另外，雷达性能一般和采样频率分辨率有关，和采样点以及采样频率没啥太多关系。
- 1
- 2
10. 自动驾驶为何用rolling starter camera? ，优势在哪里？
回答：主要是便宜。从硬件上来讲，rolling shutter是采用cmos，而global shutter采用的ccd，如下图。从电信号转换为数字信号时，CCD是串行的，而CMOS是并行的（适合集成电路）这就会使得cmos的速度更快，且噪声小。
从软件上讲，目前图像算法可以将cmos的一些缺点（如果冻现象）消除掉，所以rolling shutter使用更广。但如果ccd生产工艺和生产成本降低下来，个人感觉global shutter的相机会应用更广。
- 1
- 2
11. 就是具体相机时间戳怎么打，雷达时间戳怎么打？
回答：针对相机的话，如果有条件的话，建议打两个时间戳，即触发时间戳和系统成像时间戳。使用的时候，通过触发时间和成像时间估算出曝光中心时刻的时间，作为图像的实际时间戳。
雷达的话，没明白什么意思。激光雷达每个点都自带时间戳，毫米波雷达一般是周期播放的，can信号自带时间戳。
- 1
- 2
12. 在实际应用中，ms级别的时间同步精度是否够用？在哪些情况下需要更高的时间同步精度？
回答：ms级够用，我说的这个ms级基本在1ms以内，基本能达到0ms。其实第二个问题，可以计算下，120码，1ms可能车运动了几厘米吧，所以想下是不是够用了。除非我们国家交通法规限速提高到200码，可能会需要更高精度的时间戳。
- 1
13. 课上提到的把远距相机的roi区域重采样到短距或中距相机下再进行融合是什么意思？为什么不可以直接投影过去？对于重采样的话一般的做法是什么？
回答：长焦距的用来检测远处场景(视野小), 短焦距检测近处(视野大)，所谓的ROI融合，就是相当于把短焦距中的某些区域进行方法。由于两者景深不一致，会导致出现纵向视差，如果直接投影的话，会有很大的误差，所以一般会进行极线校正后再进行直接投影。重采样，其实可以理解为共视区更好的对齐。其次，直播课中也简单说明远距相机中2D目标框投影到中距或者短距中的一个例子。
- 1
14. 车辆静止时，激光雷达间空间同步标定之后，在车辆运动时，激光雷达的姿态发生变化。这种情况怎么解决？
回答：这个就是在线标定或者在线校准模块需要起作用了。
- 1
15. 想知道PPS信号是通过什么方式进行倍频转换为多路的20HZ信号输出
回答：一般有专门的倍频电路，将输入信号倍频输出。具体实现原理，抱歉，不是专门搞电路的，不怎么关心过内部实现。
- 1
16. PPS信号触发相机曝光之后，GPRMC的时间如何把时间戳打到相机图像帧上
回答：图像帧本身没有时间戳信息的，只有4在SOC端接收到图像的时刻，才认为是图像的时间戳。
- 1
17. 看示意图中Trigger box输出的脉冲只给到多个相机，并没有看到将触发信号给到激光雷达，所以在完成相机的时间与GPS时间同步后，激光雷达的时间如何与GPS时间同步？
回答：这个只是示意图，就是说明各组件的连接关系。比如支持trigger的相机，必须有相应的设备进行触发，而激光雷达支持ptp和ntp两种模式。
- 1
18. 看图5的“车端时间硬同步示意图”激光雷达和相机的时间同步是需要将GPS+PPS和PTP的方式结合才能完成同步吗？
回答：这只是个示意图，实际可以采用GPS授时，然后传送到ADU中，经过PTP网关进行其他传感器的授时。PTP是高精度时间同步的一种协议。
- 1
19. 假设雷达是10HZ相机是20HZ，如果同一时刻触发数据采集，但是相机的第一帧丢帧了，所以在雷达的第一帧中找不到相机对应的帧，面对相机丢帧的情况如何处理？
回答：如果是上电之初丢掉了，那就丢了呗。找能配上的就好。如果是运动过程中的某个时间段丢失了，那可以利用前面的先验知识对图像或者目标进行预测处理。
- 1
20. 使用GPS+PPS方式同步在GPS信号弱的地方应该会导致不能同步，这种情况如何处理？
回答：短时间没啥问题，时间长了，会影响同步的。常采用的方案是正常情况下，采用PTP，如果GPS信号差或者无信号，一段时间后，可以采用NTP，这也可能是为啥虽然NTP是可选择的，但往往都会加上的原因。
- 1
21. 如图车端时间硬同步示意图中各种传感器的数据在采集给到算法处理前有做缓存吗？如果缓存应该会存在延时？
回答：一般各传感器数据的时间戳在进入ADU中就已经记录了，所以对进入ADU的数据会进行处理，目前ADU因为强大的功能和传输能力，其缓存延时不用考虑。
- 1
22. 相机+毫米波雷达融合匹配策略？
回答：常见的后融合策略，比如最近邻匹配，卡尔曼滤波跟踪融合，JPDA等等，都是比较成熟的，而以图像为主的前融合策略，可以依赖图像的检测出的mask框或者bbox，剔除毫米波的错误数据，还可以直接2D-3D转换后，利用毫米波的数据进行优化。
- 1
29. 雷达感知结果输出给到融合，融合需要做相应的哪些预处理？
回答：这里的融合指的是后融合了吧，首先应该确保目标的有效性，即可能会存在误检目标。然后做好数据关联，不光要做好多传感器之间的关联，还应该做好同传感器前后帧的关联。
- 1
30. 车端激光雷达如何与GPS作时间同步？
回答：用于自动驾驶的激光雷达必须支持与主机或其他传感器的时钟同步，同步精度通常要达到毫秒级。常见的同步技术有两种：一种是基于GPS的“PPS+NMEA”；另一种是基于以太网的IEEE 1588时钟同步协议。
GPS能够从卫星获得高精度的时钟信号，因此通常作为整个系统的时钟源。常规的GPS单元都支持输出精确到毫秒的秒脉冲信号PPS和包含年月日时分秒信息的NMEA指令，通过PPS和NMEA的组合就能够实现对激光雷达或主机的毫秒级时钟同步。只要激光雷达支持基于RS232接口的PPS+NMEA时钟同步输入信号，就可以实现毫秒级的时钟同步。
PPS+NMEA的优点是协议简单，容易实现；缺点是必须基于RS232，多个设备之间实现同步比较困难。IEEE 1588就成了最好的选择，1588是基于以太网的高精度时钟同步协议，能够实现以太网中多个从节点（各种传感器）与主节点（主机）之间的亚微秒级时钟同步，前提是所有节点之间都通过以太网互联，并且每个节点都支持1588协议。
如果激光雷达支持1588协议，就可以使用如下的架构实现时钟同步：
1. 主机通过PPS+NMEA实现与GPS的时钟同步；
2. 激光雷达等其他节点通过1588协议实现与主机的时钟同步；
激光雷达输出的点云中，每个点除了(x,y,z)坐标之外，还有一个重要的字段就是时间戳。相对于相机，激光雷达是一个慢速扫描设备，每一帧点云中的不同点的时间戳是不一样的，以每秒10帧的激光雷达为例，每帧点云耗时100毫秒，每帧点云中的第一个点和最后一个点之间相差约100毫秒。扫描高速运动的物体时，原始点云是“变形”的，类似于相机的快门速度太慢时拍摄的运动物体都是模糊和拉长的一样，必须利用点云中的时间戳对点云进行校正才能恢复被扫描物体的本来面貌。
激光雷达与主机或GPS实现高精度的时钟同步之后，就会基于这个时钟为每个激光点生成一个时间戳，有了这个时间戳很多工作开展起来就方便多了，例如多传感器的融合等等。
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
31. 问下视频中PPT中第18页，两幅图像关于绿色点云和粉色点云存在差异是想说明啥？
回答：目的是为了说明位置误差的线性假设比位置线性假设更合理。如图，左侧图像是整体点云利用激光里程计和ICP去除运动畸变的效果，激光雷达从左向右运动。点云的右半部分绿色点和粉色点基本重合了，但右半部*部放大发现，粉色的点云数据超前于绿色的点云数据，但是形状依旧类似，怀疑与没有IMU数据校准相关（IMU的标定手册中有个bias，就好像相机内参的信息，这里IMU数据没校准指的是IMU没有考虑bias，就是没有考虑偏差，偏差可以理解成误差，而从图上看，右半部分确实整体偏移了一个数值）。
- 1
32. 到多相机标定中, 可以固定住平移只求旋转. 您有这方面的详细资料吗, 或者代码。
回答：
- 1
和lidar融合，能不能用lidar测角度，通过imu调整姿态
回答：必须可以哈，他给准确的目标位置，那速度也会准确。你这个距离范围是多大哈？激光雷达覆盖的距离可能是个问题
- 1
34. 多激光雷达怎么标定的，那块刚好没听，主激光雷达坐标系与车体坐标系怎么建立关系，通过测量目标物相对于车后轴中心的位姿以及在激光雷达中的位姿，进行坐标转换？
回答： 有足够多的共视区域点就可以，否则可以使用标定间。
- 1
35. 传感器的时间戳是怎么得到的？
回答： 激光雷达点云里就有时间戳，毫米波雷达可以通过can数据拿到时间戳，相机一般在soc、工控机或其他主机接收到图像后打上的，也可以在驱动层做工作，可以达到几乎0ms误差。
- 1
36. 目前车载相机大部分只支持基于pps的外部触发同步机制，而激光雷达一般用的是ieee 1588（ptp）的时间同步机制
37. 大陆的430自带SDA(自标定)，利用路沿点标定
38.1、传感器标定过程，有没有行业标准？是什么？ 2、传感器之间标定要达到哪些量化的结果？ 3、传感器标定是人工写规则么？ 4、深度学习与传感器标定有什么关系？
回答： 第一个问题：没啥行业标准，标定可以说是每家的“绝活”。
第二个问题：通常情况可以用重投影误差来衡量，还用一种方式用来评价标定结果好坏的叫DS证据理论。
第三个，标定每家自动驾驶公司都有自己的一套方式，至于规则的话，倒是不知道。不过最基础的原理是相通的。
第四，标定可以采用深度学习方法，比如calib Net，至于关系的话，其实掌握标定的思想，就能理解深度学习方法来标定的思路了
- 1
- 2
- 3
- 4
39.请问，把激光感知结果投影到图像，有什么好方法吗？感觉这个和多传感器标定有关系
回答：相机的内参和相机与雷达外参标定完可以直接投影到图像上。
- 1
40. 两个不同的camera，应该会有部分畸变和视差，这个在匹配的时候如何消除的呢？还是不消除？标定好以后长焦和短焦，对于图片的比例缩放是如何确定的？如何刚好达到图中所示的匹配呢
回答：两个相机之间有平移和旋转量哈，畸变是要消除的。首先消除的就是纵向视差，即对焦距不同的进行重采样（简单地说就是焦距变为一样），后面的工作就和双目一样了。
- 1
41.激光雷达用传统方法做目标识别有哪些
回答：目标识别？这里我理解的是目标检测哈，而不是类似人脸的识别。一般点云检测可以采用分割算法来做，传统的分割方法有如基于边缘的点云分割方法，基于区域的点云分割方法，基于模型的点云分割方法（常见的RANSAC就属于这里类、线面提取也属于这一类）。如果非要说识别的话，那就是特征距离呗。
- 1
42. 激光跟imu或者组合惯导之间的外参标定距离值不是很准，有没有什么好的方法呢？
回答：激光雷达与IMU之间的外参不准，可以通过如下方法进行校正：
基于连续时间的激光雷达与IMU的状态，估计两者之间的相对位姿，即基于连续历史时间间的姿态合出的激光转向姿态求解出的对应IMU时刻下角速度与IMU测量值的残差，然后求解最小化残差优化；
或者采用点云匹配的方法，即通过点云分割、地面滤除、以及关键物体提取等方法来提取空间中的关键物体，然后采用3D点云匹配的方法，将坐标系联合标定转化为点云匹配问题，使用ICP或者其他算法，就可以求解出激光与IMU两个坐标系中的相对坐标。
- 1
- 2
- 3
43. 请问在线标定有没有什么方法或者资料推荐的？
10.相机与Lidar同步实战
时间同步的数据处理
同步用了NDT，这是一个比较好的点，还提到IMU的同步