OpenCV相机标定与3D重建(1)概述

• 操作系统：ubuntu22.04
• OpenCV版本：OpenCV4.9
• IDE:Visual Studio Code
• 编程语言：C++11

算法描述

本节中的函数使用所谓的针孔相机模型。通过使用透视变换将场景中的3D点 $P_w$ 投影到图像平面上，从而获得场景的视图，形成相应的像素点 $p$ 和 $P_w$均用齐次坐标表示，即分别为3D和2D齐次向量。在本节引言的末尾，您将找到关于射影几何、齐次向量和齐次变换的简要介绍。为了更加简洁的符号表示，我们通常省略“齐次”一词，而直接说向量而不是齐次向量。

由针孔相机模型给出的无畸变的射影变换如下所示。
$$sp=A\left[\begin{array}{c}R|t\end{array}\right]P_w,$$
其中 $P_w$是相对于世界坐标系表示的3D点，p 是图像平面上的2D像素，A 是相机内参矩阵，R 和t 是描述从世界坐标系到相机坐标系（或相机框架）的坐标变化的旋转和平移，s 是射影变换的任意缩放因子，并不是相机模型的一部分。相机内参矩阵A（使用的符号如[314]中所述，也通常记作K）将给定在相机坐标系中的3D点投影到2D像素坐标，即：
$$p=A{P}_c.$$
相机内参矩阵 A 由以像素单位表示的焦距 $f_x$和$f_y$以及主点$(c_x,c_y)$组成，主点通常接近图像中心：
$$A=\left[\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right]$$
因此
$$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\end{array}\right]$$

内参矩阵不依赖于所观察的场景。因此，一旦估计出来，只要焦距固定（对于变焦镜头而言），就可以重复使用。因此，如果相机的图像按某个比例因子缩放，那么所有这些参数都需要按相同的比例因子进行缩放（相应地乘以或除以）。

联合旋转-平移矩阵$[R|t]$是射影变换和齐次变换的矩阵乘积。3x4 的射影变换将用相机坐标表示的3D点映射到图像平面上的2D点，并且这些2D点用归一化的相机坐标$x^{\prime }=X_c/Z_c$和$y^{\prime }=Y_c/Z_c$
$$Z_c\left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\\ 1\end{array}\right]=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right]$$
齐次变换由外参 $R$和$t$编码，表示从世界坐标系w到相机坐标系c的基底变换。因此，给定世界坐标中的点P
的表示$P_w$，我们可以通过
$$P_c=[R|0;t|1]P_w$$
这个齐次变换由 R，一个3x3的旋转矩阵，和t，一个3x1的平移向量组成：
[ R