PSEUDO-LIDAR++：自动驾驶中 3D 目标检测的精确深度-深度校正

SDN 显着改进了深度估计并更精确地渲染了对象轮廓（见下图）。

视差 cost volume（左）与深度 cost volume（右）。该图显示了从 LiDAR（黄色）和立体（紫色）获得的 3D 点，对应于 KITTI 中的一辆汽车，从鸟瞰图（BEV）看到的。差异 cost volume 中的点被拉长且嘈杂；而来自深度 cost volume 的点则忠实地捕捉到汽车轮廓。

然而，由于像素的离散性质，立体图像存在一个基本限制：视差（即相应像素之间水平坐标的差异）必须在单个像素的级别上进行量化，而深度是连续的。尽管可以通过更高分辨率的图像来减轻量化误差，但计算深度预测成本会随着分辨率的增加而呈三次方变化，从而突破了自动驾驶汽车中 GPU 的极限。

因此，论文探索了一种混合方法，利用具有极其稀疏（例如 4 束）但精确的深度测量的廉价 LiDAR 来纠正这种偏差。我们注意到，此类传感器太稀疏，无法捕获物体形状，并且不能单独用于检测。然而，通过将激光雷达点投影到图像平面上，我们可以获得一小部分“地标”像素的精确深度。

论文提出了一种基于图的深度校正（G​​DC）算法，该算法有效地结合了渲染对象形状的密集立体深度和稀疏的精确激光雷达测量。从概念上讲，我们期望校正后的深度图具有以下属性：全局上，与 LiDAR 点关联的地标像素应具有精确的深度；在本地，应保留由相邻 3D 点捕获的、从输入深度图反投影的对象形状（参见公式 1）。

输入匹配

通过立体深度估计将来自 LiDAR (L) 和 Pseudo-LiDAR (PL) 的两个点云作为输入。后者是通过将深度为 $z$ 的像素 $(u,v)$ 转换为 3D 点 $(x_u,y_v,z)$ 来获得的。
首先，通过 PL 点云中的有向 K-最近邻 (KNN) 图（使用加速 KD 树）来表征局部形状，该图将每个 3D 点与其具有适当权重的 KNN 连接起来。同样，可以将 3D LiDAR 点投影到像素位置 $(u,v)$ 上，并将它们与相应的 3D 立体点进行匹配。不失一般性，假设我们获得了前 $n$ 个点的“地面实况”LiDAR 深度，而其余 $m$ 点则没有地面实况。我们将 3D 立体深度估计称为 $Z\in {\mathbb{R}}^{n+m}$，将 LiDAR 深度地面实况称为 $G\in {\mathbb{R}}^n$。

边权重

为了构建 3D 的 KNN 图，忽略前 $n$ 个点的 LiDAR 信息，只使用它们在 $Z$ 中预测的立体深度。让 ${\mathcal{N}}_i$ 表示第 $i$ 个点的 $k$ 个邻居的集合。此外，令 $W\in {\mathbb{R}}^{(n+m)\times (n+m)}$ 表示权重矩阵，其中 $W_{ij}$ 表示点 $i$ 和 $j$ 之间的边权重。受到流形学习先前工作的启发，选择权重作为系数，从 ${\mathcal{N}}_i$ 中任何点的邻居深度重建任何点的深度。可以通过以下约束二次优化问题来求解这些权重：
$$W={\text{arg min}}_W||Z-WZ|{|}_2^2,s.t.W1=1and{W}_{ij}=0\text{if}j\notin {\mathcal{N}}_i.\text{\hspace{1em}(7)}$$

这里 $1\in {\mathbb{R}}^{n+m}$表示全1向量。只要我们选择 $k>3$ 并且点处于一般位置，就有无限多个满足 $Z=WZ$ 的解，并且论文选择具有最小 L2 范数的解（通过轻微的 L2 正则化获得）。

深度校正

将校正后的深度值表示为 $Z^{{}^{\prime }}\in {\mathbb{R}}^{n+m}$，其中 $Z^{{}^{\prime }}=[Z_L^{{}^{\prime }};Z_{PL}^{{}^{\prime }}]$ 和 $Z_L^{{}^{\prime }}\in {\mathbb{R}}^n$ 和 $Z_{PL}^{{}^{\prime }}\in {\mathbb{R}}^m$ ，其中 $Z_L^{{}^{\prime }}\in {\mathbb{R}}^n$ 是具有 LiDAR 地面实况的点的深度值，否则为 $Z_{PL}^{{}^{\prime }}\in {\mathbb{R}}^n$ 。
对于 LiDAR 测量的 $n$ 个点，将深度更新为（地面实况）值 $Z_L^{{}^{\prime }}=G$ 。然后，在给定 $G$ 和 $W$ 中编码的加权 KNN 图的情况下求解 $Z_{PL}^{{}^{\prime }}$ 。具体来说，更新剩余深度 $Z_{PL}^{{}^{\prime }}$，使得任何点 $i$ 的深度仍然可以使用学习的权重 $W$ 以高保真度重建为其 KNN 深度的加权和；即，如果点 $i:1\le i\le n$ 移动到新的深度 $G_i$，则 ${\mathcal{N}}_i$ 中的邻居也必须进行校正，使得 $Gi\approx {\sum }_{j\in {\mathcal{N}}_i}{W}_{ij}{Z}_j^{{}^{\prime }}$。此外，必须纠正邻居的邻居，并且这几个 $n$ 点的深度会传播到整个图。我们可以通过另一个二次优化直接求解最终的 $Z^{{}^{\prime }}$：
$$Z^{{}^{\prime }}={\text{arg min}}_{Z^{{}^{\prime }}}||Z^{{}^{\prime }}-W{Z}^{{}^{\prime }}|{|}^2,s.t.Z_{1:n}^{{}^{\prime }}=G\text{\hspace{1em}(8)}$$

为了说明校正过程，想象一下最简单的情况，其中仅单个点（$n=1$）的深度更新为 $G_1=Z_1+\delta$。方程 8 的新最佳深度是类似地移动所有剩余点，即 $Z^{{}^{\prime }}=Z+1\delta$：由于 $Z=WZ$ 且 $W1=1$，必须有 $W(Z+1\delta )=Z+1\delta$。

在 $n>1$ 的设置中，最小二乘损失确保不同 LiDAR 深度估计之间的软扩散。方程 7 和方程 8 中的两个优化问题都可以使用稀疏矩阵求解器准确有效地求解。

从基于图的流形学习的角度来看，GDC 算法让人想起局部线性嵌入，并用地标来指导最终解决方案。图 1 生动地说明了如何使用一些稀疏 LiDAR 测量值（黄色）来校正 KITTI 数据集中汽车的 SDN（紫色）的初始 3D 点云。得到的点（蓝色）位于地面实况框内，清楚地显示汽车的轮廓。图 4 显示了 GDC（蓝色）相对于纯 SDN 深度估计的额外改进。误差（仅在非地标像素上计算）在整个图像上进行校正，其中许多区域没有 LiDAR 测量。这是因为伪 LiDAR 点云足够密集，并且我们选择足够大的 $k$（实际上，我们使用 k = 10），这样 KNN 图通常是连通的（或由几个大的连通分量组成）。对于汽车等物体，GDC 的改进要明显得多，因为这些物体通常会被四个 LiDAR 光束接触，并且可以得到有效校正。