相机模型

时间:2022-12-19 12:00:57

相机将3D世界映射到2D图像,相机模型描述了这种映射,主要相机模型包括 finite camera 和 infinite camera。

1 Finite Projective Camera

      

相机模型

 

   如上图所示,Finite Projective Camera 是焦距f为有限值的相机模型,这是一个针孔模型,其几何元素描述如下:

   .像平面(image plane):2D图像成像平面

   .相机中心(camera centre):点C位置,为坐标系中心

   .主轴(principal axis):Z轴方向

   .像主点(principal point):主轴与像平面的交点,图像上为p点

   .主平面(principal plane):XY轴平面

   .轴平面(axis plane):相机中心与像平面上任意一个坐标轴构成的平面

    根据以上几何关系,三维空间上点X投影到像平面上点x,其关系如下:

    

相机模型

,  

相机模型

    以上运算是一个非线性变换,计算机擅长线性运算,使用齐次坐标可以将以上运算修改为线性运算:

    令三维空间点齐次坐标为 

相机模型

,使用矩阵 

相机模型

对其进行变换得

相机模型

,这是二维平面点的齐次表示。

    将相机成像等效表达为矩阵变换x=PX,这就建立了相机成像的数学模型。

    在以上表达基础上考虑像主点(principal point)偏移,其变换为

相机模型

,    使用矩阵表达为

相机模型

,该变换矩阵的*度为3。

    到目前为止,对三维点施加矩阵P进行线性变换得到的图像坐标单位与三维点单位一致,如米,毫米等。

    欲将其转换为像素坐标,需要考虑:

    1)对其乘以一个系数变换到像素单位;

    2)像元可能是长方形,所以在XY方向上系数可能不一致;

    变换矩阵P可写作

相机模型

,该矩阵的*度增加到4。

    考虑到像平面xy轴可能并不严格正交,因此需要增加一个扭曲变换(skew),     变换矩阵表示为 

相机模型

,该矩阵的*度增加到5。

    变换矩阵P的所有有效信息为左边3*3上三角矩阵,将其单独提取处理表示为 

相机模型

,    x=PX可改写为

相机模型

,这里使用

相机模型

代替X强调了该三维空间坐标是以相机中心为原点建立起来的坐标系(如上图)。

    接下来需要引入世界坐标系,其目的是将任意世界坐标下的三维点映射到图像平面,

         

相机模型

 

     如上图所示,右边是任意世界坐标,左边是相机坐标,世界坐标系上任意一点转换到相机坐标需要如下步骤:

     1)将世界坐标系平移 -C,其中C是相机中心在世界坐标系上的坐标值;

     2)以C为中心,绕XYZ轴旋转合适的角度使得世界坐标与相机坐标重合;

     以上变换可表示为

相机模型

,R为旋转矩阵,三维旋转可参考 ​​三维旋转 - 罗飞居 - 博客园 (cnblogs.com)​​     将其整理成齐次变换为

相机模型


 

     因此,对任意世界坐标系下三维坐标点,投影到像平面由以下步骤完成:

     1)将世界坐标变换到相机坐标,2)在相机坐标下将三维空间点投影到二维图像平面,

     整合成矩阵表达为

相机模型

,此时,X为任意世界坐标系下点,x为相平面坐标点。     变换矩阵

相机模型

增加了3个平移*度和3个旋转*度,该矩阵一共有11个*度。

     矩阵K表达了相机相关属性,为相机内参,矩阵R,C表达了世界坐标系与相机坐标之间的关系,称为相机外参。

      一个3*4的矩阵包含了12个元素,由于一组各元素比值相同的变换对应一个齐次变换,因此该矩阵正好包含了11个*度,

      所以,任意一组各元素比值一致的3*4矩阵确定了一个唯一的有限投影相机变换!

 

2 通过投影变换矩阵获得相机信息

      

相机模型

    投影变换矩阵是以上模型的数学描述,当变换矩阵P已知时,可以得到模型中各元素的相关信息。       

    1)相机中心(camera centre)

     相机中心C(欧式坐标)由变换矩阵P的零空间确定,理由如下:

     对C点施加变换P可表示为 

相机模型


相机模型

为投影矩阵的零空间。

    2)列空间

     将变换矩阵P表示为

相机模型

,则

相机模型

分别表示世界坐标系下XYZ坐标轴在图像上的消失点(vanishing point),     考察对X轴上无穷远点

相机模型

施加矩阵P变换得到

相机模型

,将X轴上无穷远点映射到一个图像点

相机模型

,对其他轴也有类似的结论。      而

相机模型

则为世界坐标上零点到图像平面的映射点。

    3)行空间

      将变换矩阵P表示为行向量组合

相机模型

,则

相机模型

确定了主平面(principal plane),理由如下:

      主平面是经过相机中心且平行于像平面的平面(XY平面),很显然该平面上任意点都投影到像平面的无穷远点,

      即

相机模型

,进一步有

相机模型

,因此

相机模型

确定了主平面。      

相机模型

分别确定了不同的轴平面(axis plane),理由如下:      考虑三维空间点满足

相机模型

,则矩阵变换满足

相机模型

,因此三维空间点被投影到像平面y轴上,      同时有相机中心点C满足约束

相机模型

,因此

相机模型

定义了相机中心到图像坐标y轴构成的平面。       同理,

相机模型

定义了相机中心到图像坐标x轴构成的平面。

    4)像主点(principal point)与主轴(principal axis)

       在求像主点和主轴时,对变换矩阵P进行适当改写更加方便描述,令

相机模型


相机模型

,       像主点是相机中心到像平面上的投影点,既然

相机模型

确定了主平面,且主平面与像平面平行,       则像平面的法向量为

相机模型

的前三个元素

相机模型

构成,在法向量上无穷远点为

相机模型

,       对该点投影到像平面为

相机模型

。       已知像平面的法向量为

相机模型

,法向量方向可以通过考察在相机坐标系下变换得到,即

相机模型


 

3 三维点与二维点映射关系

    1)已知三维空间点X,通过变换x=PX可以得到在像平面上的投影点,对于无穷远点

相机模型

,          有

相机模型

,因此仅有3*3子矩阵影响了无穷远点映射。

    2)已知图像上点x,根据相机模型,无法确定一个唯一的三维点,但可以确定一条经过相机中心到无穷远点的射线,

         在该射线上的任意点(除相机中心)都能映射到x。

         将变换矩阵可等价表示为 

相机模型

,        得到相机中心的欧式坐标为 

相机模型

;         同时图像上点x被映射到三维空间上一条射线,该射线与无穷远平面相交为

相机模型

,         反过来看则

相机模型

被变换矩阵P映射到图像点x,即

相机模型

,         对于finite projective camera,其变换矩阵的秩为3,子矩阵M为满秩矩阵,因此有

相机模型


相机模型

;          综上得到三维映射射线为 

相机模型


 

4 Affine Camera(Infinite Camera)

    仿射相机的相机变换矩阵P的最后一行为

相机模型

,该变换下无穷远点被映射到无穷远点。

    仿射相机可以在finite projective camera基础上对焦距(flocal length)和相机到物体的距离求极限得到。

    finite projective camera的变换矩阵可重写为

相机模型

,

    给定一个时间变量t,当t从0开始增加时,相机中心沿着主轴慢慢远离物体,

    可表示为

相机模型


    当相机原理时,成像会变小,考虑增加焦距以抵消相机远离,同时为了让成像保持大小不变,

    令

相机模型

,将焦距增加到

相机模型

,    得到

相机模型

,    当t趋近无穷大时,有

相机模型

,即为仿射相机矩阵。

 

参考资料:multiple view geometry in computer vision  Richard Hartley && Andrew Zisserman