CV01_相机成像原理与坐标系之间的转换

0.引言：小孔成像->映射表达式

1. 相机自身的运动如何表征？->外参矩阵E

1.1 旋转

1.2 平移

2. 如何投影到“像平面”？->内参矩阵K

2.1 图像平面坐标转换为像素坐标系

3. 三维到二维的维度是如何丢失的？->透视变换

4. 坐标变换的应用

附：像平面投影实际的偏差问题

参考资料

0.引言：小孔成像->映射表达式

视觉包含着大量的信息，是几乎所有生物感知环境的主要工具，也是机器人的重要传感器之一，但是相机究竟是如何成像的呢？

现在我们假设一种情况：黑暗的环境下，空中有一个发光的小球，小球对面是铺满了墙壁的一张纸，我们会发现小球照亮了整个纸面，但是小球的二维投影圆却没有呈现在纸上。

现在我们再给一个平面放在小球和纸之间，这个平面中心有一个小孔，光透过小孔，我们发现纸面整体虽然变暗了，但是小球二维投影圆却能清晰看见了。这就是小孔成像。

但是小孔到底起着怎样的作用？从数学角度看，小孔就是一个映射或者函数表达式，它让“物点”与“像点”的空间位置有了一一对应的关系。如果没有“小孔”，那么物点会“漫射”到所有像点，自然不会呈现任何形状。

小孔成像就是相机的基本原理，因为镜头本身和小孔一样，也是一个映射。镜头将物点投射到图像传感器上，将光强信号转换到成电流信号，电流信号再由运算电路转化成数字信号，合成数字图像，就是照片。

下面我们就来具体求解这个镜头代表的映射函数的具体形式，从而构建物和像之间的数学关系。

1. 相机自身的运动如何表征？->外参矩阵E

首先，我们建立一个世界坐标系W，而我们的相机自身也有一个坐标系，我们称为相机坐标系C，而且相机坐标系C可以在世界坐标系W中运动，这就引出几个问题：

1.相机自身的运动如何表征？

2.世界坐标系中的“物点”投影到相机的成像平面，这又如何表示？

3.三维到二维的维度是如何丢失的？

4.这些坐标的变换有什么应用？

问题一个一个解决。我们先看第一个问题，为了明白背后的原理我先采用二维坐标（三维坐标是同理的），这样便于理解。

从世界坐标系变换到相机坐标系属于刚体变换。首先介绍刚体运动的概念：刚体（即形状和大小不变的理想化物体）进行的运动，这种运动保持了物体内部所有点之间的相对距离不变。刚体变换通常包括“平移”和”旋转“。

（注意说明旋转和平移时用的是二维举例，三维坐标系的原理是相同的，推广即可）

1.1 旋转

我们先看旋转。现在在二维空间（三维空间同理）有一点P，其W坐标系下（x,y）,红色的相机坐标系原来与世界坐标系重合，现在其旋转了θ角：

那么，P点在做了旋转运动了的相机坐标系C下的坐标(x',y')是多少呢？

这个问题我们回头解决，我们先看一下二维平面内的旋转运动是如何表达的：

二维空间内一点P的坐标为（x,y），其绕原点旋转θ后得到P’的坐标是（x',y'），如何求x',y'?

假设OP连线与X轴夹角为 α,由于旋转不改变OP长度，所以有这个等式

$\frac x{\cos\alpha}=\frac{x^{\prime}}{\cos{(\alpha+\theta)}}$

利用和角公式展开可得到x'，相似，我们也能得到y'

$y'=x\sin\theta+y\cos\theta$

我们利用线性代数的知识写成矩阵的形式，这就得到一个旋转矩阵R，也是一个二维的线性变换

$\begin{bmatrix}x'\\y'\end{bmatrix}=\begin{bmatrix}\cos\theta&-\sin\theta\\\sin\theta&\cos\theta\end{bmatrix}\begin{bmatrix}x\\y\end{bmatrix}$

我们记作p'=Rp,R为上面的旋转矩阵。

我们回到刚才的问题，用同样的思路，还是有OP长度相等的关系，我们计算可得x'y' $x^{\prime}=x\cos\theta+y\sin\theta\\y^{\prime}=-x\sin\theta+y\cos\theta$

还是用矩阵来表达，我们就得到了一个坐标基变换的表达式

$\begin{bmatrix}x'\\y'\end{bmatrix}=\begin{bmatrix}\cos\theta&\sin\theta\\-\sin\theta&\cos\theta\end{bmatrix}\begin{bmatrix}x\\y\end{bmatrix}$

上面的矩阵我们记作A，写作p'=Ap（其实这就是坐标基变换）

矩阵A的作用就是对同一点不同坐标系下的表达式进行转化

如果我们把刚刚得到的R和A相乘，结果会发现是一个单位矩阵I，则A和R就是互逆的。换句话说：再量相同的情况下，旋转点和坐标系变换是互逆的操作。

$\begin{aligned}\mathbf{AR}&=\begin{bmatrix}1&0\\0&1\end{bmatrix}=\mathbf{I}\\\mathbf{A}&=\mathbf{R}^{-1}\end{aligned}$

这一点非常有用，也就是只要我们知道了相机的运动，就可以求表示相机运动的逆矩阵来求空间物点在运动后的相机坐标系下的表达。

1.2 平移

上面的是旋转运动，下面我们看一下平移运动。

点P移动到P',（x',y'）的坐标很容易得到。但是我们要注意，平移不是线性变换，也就是说我们不能用矩阵表示平移运动。但是如果我们硬要用矩阵来表示平移呢？----这就引出了齐次坐标（homogeneous）

我们可以用如下方式表示点P的平移

$\begin{bmatrix}x'\\y'\\1\end{bmatrix}=\begin{bmatrix}1&0&a\\0&1&b\\0&0&1\end{bmatrix}\begin{bmatrix}x\\y\\1\end{bmatrix}$

上面的矩阵其实就是三维剪切变换，带入到三维中通过线性变换来达到“平移”的效果

那条白色的线其实都发生了成比例的缩放，缩放因子就是最后一个维度的值ω，ω=1时称为归一化平面，齐次坐标ω不同的点在笛卡尔坐标系下是同一个点。

这就是所谓的透视投影（中心投影变换）。透视中心就在ω=0的所谓无穷远点处。

这样我们就明白，我们可以通过高维的剪切变换来实现低维度的平移变换，从而解决了平移运动的矩阵表示问题。

我们通常把线性变换+ 平移称为“仿射变换”（Affine）

同样地，对于相机坐标系的平移，我们可以通过直接求平移矩阵T的逆矩阵来得到基变换矩阵A。

$\begin{aligned} &\mathbf{p}^{\prime}=\mathbf{Tp} \\ &\mathbf{p}^{\prime}=\mathbf{Ap}=\mathbf{T}^{-1}\mathbf{p} \\ &\mathbf{T}=\begin{bmatrix}1&0&a\\0&1&b\\0&0&1\end{bmatrix}\quad\mathbf{A}=\begin{bmatrix}1&0&-a\\0&1&-b\\0&0&1\end{bmatrix} \end{aligned}$

然后我们把刚刚提到的平移和旋转合在一起，拼成一个矩阵，就得到了能够转换二维（三维同理）世界坐标到运动的相机坐标系的桥梁（线性变换）。

$\left[\begin{array}{ccc}\cos\theta&\sin\theta&a\\-\sin\theta&\cos\theta&b\\0&0&1\end{array}\right]$

我们把这个矩阵写成更一般的形式，T和R分别表示平移和旋转，我们称E为相机的“外参矩阵”（Extrinsic Matrix）

$E=\begin{bmatrix}R&T\\0^T&1\end{bmatrix},\mathbf{p}'=E\mathbf{p}$

写成这种形式的好处是，可以统一的表达有限维空间的情况，比如二维和三维

（注：基于欧拉角的旋转矩阵，其具体形式与旋转轴是否固定以及旋转顺序有关）

如此一来，我们就把第一个问题解决了。

2. 如何投影到“像平面”？->内参矩阵K

我们已经把世界坐标系通过外参矩阵E转换到了运动了的相机坐标系下了，现在我们把目光聚焦到相机坐标系就可以了。像平面与XY平面的距离我们称为焦距f,相机坐标系下一点P(x,y,z)与坐标原点所连直线与像平面的交点P'就是：P在像平面上或者说焦平面上的投影点。

现在我们来求P' 的坐标，根据两个三角形相似，可得

$\frac{x'}x=\frac fz\\\frac{y'}y=\frac fz$ 则P'的坐标为 p'(xf/z,yf/z,f)

我们再定义像平面上的坐标为 (xf/z,yf/z) 这就是图像坐标系下的坐标值。

写成齐次坐标下矩阵的形式为

$z\begin{bmatrix}x'\\y'\\1\end{bmatrix}=\begin{bmatrix}f&0&0&0\\0&f&0&0\\0&0&1&0\end{bmatrix}\begin{bmatrix}x\\y\\z\\1\end{bmatrix}$ ， z代表点p的深度信息。

2.1 图像平面坐标转换为像素坐标系

像素坐标系和图像坐标系都在成像平面上，只是各自的原点和度量单位不一样。图像坐标系的原点为相机光轴与成像平面的交点，通常情况下是成像平面的中点或者叫principal point。图像坐标系的单位是mm，是物理单位，而像素坐标系的单位是pixel，我们平常描述一个像素点都是几行几列。所以这两者之间的转换关系如下：

$\begin{array}{l}u=\frac{xf/z}{dx}+u_0\\\nu=\frac{yf/z}{dy}+\nu_0\end{array}$ 。

其中，dx和dy分别表示每一列和每一行分别代表多少mm，即1pixel=dxmm。以齐次坐标形式表示为：
$\begin{bmatrix}u\\\\\nu\\1\end{bmatrix}=\begin{bmatrix}\frac{1}{dx}&0&u_0\\\\0&\frac{1}{dy}&\nu_0\\\\0&0&1\end{bmatrix}\begin{bmatrix}{xf/z}\\{yf/z}\\1\end{bmatrix}$

那么将上面得线性变换矩阵与之前的作矩阵乘法，有

$\begin{bmatrix}\frac{1}{dx}&0&u_0\\0&\frac{1}{dy}&\nu_0\\0&0&1\end{bmatrix}\begin{bmatrix}f&0&0&0\\0&f&0&0\\0&0&1&0\end{bmatrix}=\begin{bmatrix}f_x&0&u_0&0\\0&f_y&\nu_0&0\\0&0&1&0\end{bmatrix}$ ，其中fx,fy是焦距(mm)像素值表示(pixel)