视觉里程计之对极几何

视觉里程计之对极几何

前言

上一个章节介绍了视觉里程计关于特征点的一些内容，相信大家对视觉里程计关于特征的描述已经有了一定的认识。本章节给大家介绍视觉里程计另外一个概念，对极几何。

对极几何

对极几何是立体视觉中的几何关系，描述相机从不同位置拍摄3D场景时，3D点与相机位姿，图像观测像素坐标之间的几何关系。这种几何关系可以作为约束应用到求解相机运动及特征点3D坐标中。

立体视觉(Stereo Vision)是什么呢？我们可以这样理解：
立体视觉(StereoVision) = 寻找相关性(Correspondences) + 重建(Reconstruction)
● Correspondences:给定张图片中的像素P点，寻找其在另一张图片中的对应点Pr。
● Reconstruction:给定一组对应点对(P,P,),计算其在空间中对应点P的3D坐标。

对极几何中存在以下几个概念：对极点，对极线，对极平面。其中对极线构成的约束称为对极线约束，也称为对极约束。

对极点：左相机光心OL在右相机平面上的成像点eR，称为其中一个对极点，类似的，OR在左相机上的成像点eL，也是对极点。对极点是虚拟的点，如果相机之间不能观测到对方光心，则对极点会在图像之外。

对极线：在相机OL观测到一个点XL，实际情况该XL可能对应3D坐标中任意一个Xi，因为线OLX被因为与左相机中心重合而被左相机视为一个点。但对于右相机，每个Xi则将有不同观测，这些观测为其图像平面中的一条线，该线称为对极线。如图，右摄像机中的那条线（eRXR）就称为对极线。对称地，右相机视线ORX为一个点，而被左相机视为对极线（eLXL）。
对极线是3D空间中点X的位置的函数，一个兴趣点对应一组对极线（XLeL,XReR）。由于线OLX通过透镜OL的光学中心，因此右图中相应的对极线必须通过eR（并且对应于左图中的极线）。一幅图像中的所有对极线都包含该图像的对极点。
对极平面：趣点X与两相机中心OL、OR三点形成的平面称为对极平面。对极平面与每个相机的图像平面相交形成线即为对极线。无论X位于何处，所有对极平面和对极线都与对极点相交。

基线：两个相机光心相连的直线OLOR称为基线

对极约束

P点在图像I1中观测的位置是P1，在I2中观测的位置是P2，O1与O2为相机的光心。点P与O1，O2形成的平面称为极平面。极平面与图像平面的交线称为极线，即图中的l1与l2。其中e1与e2称为极点。

假设O1相机坐标系下P点坐标为P(X,Y,Z)，归一化坐标为Pu（X1,Y1,1），则根据针孔相机投影模型，观测的像素坐标P1（u1,v1）为：

$\left[\begin{array}{c}{u}_1\\ v_1\\ 1\end{array}\right]=\left[\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{X}_1\\ X_1\\ 1\end{array}\right]$

化为简洁的形式如下，其中K为相机内参：

$p_1=K{P}_u^1$
​
好了，现在假设O1相机相对于O2的运动及旋转为t与R，那么根据坐标系变换的关系，P在O2坐标系下坐标为：

$P_2=R{P}_1+t$

同样，根据相机投影模型，可以得到观测像素坐标与局部三维坐标的关系为：

$p_2=K{P}_u^2=K(R{P}_1+t{)}_u$

为了描述对极约束，这里需要用到投影关系，即一个坐标等比例缩放的关系，物理含义是指它们是在同一条射线上，通过投影关系，可以得到在相机O1与O2下，对P点观测的归一化坐标关系为：

$p_u^2\ast \frac{1}{s_2}=R{p}_u^1\ast \frac{1}{s_1}+t$

在等式左右同时左乘t^，上三角符号含义为取向量的反对称矩阵，运算结果为向量的外积,因为相同向量，外积为0,所以上式变为

$t^{\wedge }\ast p_u^2\ast \frac{1}{s_2}=t^{\wedge }R{p}_u^1\ast \frac{1}{s_1}$

两边同时乘以p2的转置

${\left(p_u^2\right)}^T\ast t^{\wedge }\ast p_u^2\ast \frac{1}{s_2}={\left(p_u^2\right)}^{T{\ast t}^{\wedge }}R{p}_u^1\ast \frac{1}{s_1}$

其中左等式，t^p2u为一个与t及p2u垂直的向量（所以对极几何t一定不能为0，不然在推导这里就不成立），既然与自身垂直，那么两个垂直向量做内积，结果为0，左侧严格等于0。则此时去掉常数项也不会影响等式成立

${\left(p_u^2\right)}^T{t}^{\wedge }R{p}_u^1=0$

其中p1u，p2u为物体在相机坐标系下的归一化坐标，其与物体真实坐标及像素的齐次坐标关系为：

$P_u^1=K^{-1}{u}_1^{齐}=s_1{P}^1$
通常有如下表示：

E =