四、双目标定
为了得到图片中物体的深度信息，引入双目视觉。
双目标定在单目标定的基础上，标定出左右摄像机坐标系之间的相对关系。
1、基本概念
所涉及的专业名词有对极几何，本征矩阵，基础矩阵。
双目相机基于对极几何的理论，本征矩阵E包含在物理空间两个摄像机相关的旋转与平移信息，基础矩阵F除了包含E的信息还包括两个相机的内参数。E是几何意义上的，与成像仪无关，将左相机观测到的点P的坐标与右相机观测到的相同点的坐标关联起来(相机坐标系下)，F则是将左相机的像平面上的点与右相机观测到的像平面上相同点关联起来(像素坐标系)。
1.0、对极几何
立体成像系统的几何基础被称作“对极几何”
投影点：XL，XR
极点：相机光心投影到另一个相机的像平面上，eL，eR。
极线：直线Ol-XL因为与左相机的光学中心对其，所以在左相机被视为一个点（直线上的任意一点都投影到像平面上的XL点），但是，右侧相机会将此视为图像平面的一条线（图中红线），这条在右侧相机像平面上的直线eR-XR称为极线，同理，左相机像平面上的直线XL-eL也称为极线。
极线平面：XL-eL-eR-XR构成的平面
主点：主光线和相平面的相交位置OL，OR，两对极点与主点在同一3D直线上。
摄像机视图中的每一个三维点都被包含在与每个图像相交的极面中，二者相交产生的直线是极线。
给定一幅图像的特征，在另一图像的匹配视图一定位于对应极线。这称为“极线约束” 。
极限约束意味着，一旦我们知道立体实验设备之间的对极几何，在两幅图像中匹配的二维搜索可以转变为沿着极线的一维搜索。
1.1、本征矩阵(Essential matrix)
本征矩阵用字母E来表示，物理意义是左右相机坐标系相互转换的矩阵,表示几何意义，与单成像仪无关，用来描述左右相机图像平面上对应点在各自相机坐标系之间的关系。
特性：
1）本质矩阵是由对极约束定义的。由于对极约束是等式为0的约束，所以对E乘以任何非零常数后，对极约束依然满足。这一点被称为E在不同尺度下是等价的。
2）根据E=t∧R，可以证明，本质矩阵E的奇异值必定式[σ,σ,0]T。这称为本质矩阵的内在性质。可以理解为：一个3×3的矩阵是本征矩阵的充要条件是对它奇异值分解后，它有两个相等的奇异值，并且第三个奇异值为0。
3）由于平移和旋转各有3个*度，所以t∧R共有6个*度。但由于尺度等价性，故E实际上只有5个*度。
1.2、基础矩阵(Fundamental matrix)
给本征矩阵E增加相机内参矩阵M的相关信息，就能得到描述同一个物理点在左右相机图像平面上对应点在各自像素坐标系下的关系。
1.3、重投影矩阵
重投影矩阵Q实现了世界坐标系和像素坐标系之间的转换。
1.4、bouguet极线矫正
为了进行深度计算与三维重建，应该在双目标定之后先进行极线矫正。
校正前两个相机的光轴是一个倒V字形，如上对极几何图形所示，左右相机像平面不平行，极点在像平面上；
相比，校正后两相机光轴平行，像点在左右图像上的高度一致(极线矫正目的)，是为了做立体匹配时，只需要在同一行上搜索左右像平面的匹配点，提升效率。
矫正方法：将双目标定所求的基础矩阵(含RT)，分解成左右相机各旋转平移一半为Rl,Tl与Rr,Tr，分解原则为左右图像重投影畸变最小，左右的共同面积最大。
旋转后，左右相机的光轴平行，两成像面平行，没有行对准。
构造旋转矩阵使得基线与成像平面平行，构造方法通过右相机相对左相机的偏移矩阵T完成。
为了使得左相机的极点变换到无穷远（极线水平），左右相机投影中心之间的平移向量就是左极线方向。
2、计算
假设空间中一点P，其在世界坐标系下的坐标为Pw，左相机到右相机的关系为R,T，其在左右相机坐标系下的坐标可以表示为：
其中
结合以上两个公式，推得：
奇异值分解待补充