【转】计算机视觉基础5——本质矩阵与基本矩阵(Essential and Fundamental Matrices)

时间:2022-02-20 17:07:49

原帖地址:http://www.cnblogs.com/gemstone/archive/2011/12/20/2294805.html

回顾本质矩阵的定义

【转】计算机视觉基础5——本质矩阵与基本矩阵(Essential and Fundamental Matrices)

 【转】计算机视觉基础5——本质矩阵与基本矩阵(Essential and Fundamental Matrices)

本质矩阵的基本性质:

【转】计算机视觉基础5——本质矩阵与基本矩阵(Essential and Fundamental Matrices)

结合成像的几何关系

      【转】计算机视觉基础5——本质矩阵与基本矩阵(Essential and Fundamental Matrices)

Longuet-Higgins equation

【转】计算机视觉基础5——本质矩阵与基本矩阵(Essential and Fundamental Matrices)

注意大小写的区别哦,大小表示物点矢量,小与表示像点矢量。

像平面上的一点可以看作:

• (u,v) 2D film point(局限于像平面上来考虑)

• (u,v,f) 3D point on film plane(相机坐标系中来考虑)

• k(u,v,f) viewing ray into the scene(透过像点和原点射线上点的像,相机坐标系中来考虑)

• k(X, Y, Z) ray through point P in the scene(在世界坐标系中来考虑)

l为像平面上的一直线:au+bv+c=0

由点线结合关系可得:

【转】计算机视觉基础5——本质矩阵与基本矩阵(Essential and Fundamental Matrices)

因此有

【转】计算机视觉基础5——本质矩阵与基本矩阵(Essential and Fundamental Matrices)

这样就可以用几何的观点来解释上述方程:左像平面上的一点pl乘以本质矩阵E,结果为一条直线,该直线就是pl的极线,且过pl在右像平面上的对应点pr。这个结论十分喜人。

同理有

【转】计算机视觉基础5——本质矩阵与基本矩阵(Essential and Fundamental Matrices)

• Remember: epipoles belong to the epipolar lines

【转】计算机视觉基础5——本质矩阵与基本矩阵(Essential and Fundamental Matrices)

• And they belong to all the epipolar lines

【转】计算机视觉基础5——本质矩阵与基本矩阵(Essential and Fundamental Matrices)

关于本质矩阵的关系总结如下:

【转】计算机视觉基础5——本质矩阵与基本矩阵(Essential and Fundamental Matrices)

本质矩阵采用的是相机的外部参数,也就是说采用相机坐标(The essential matrix uses CAMERA coordinates),如果要分析数字图像,则要考虑坐标(u,v),此时需要用到内部参数(To use image coordinates we must consider the INTRINSIC camera parameters)

【转】计算机视觉基础5——本质矩阵与基本矩阵(Essential and Fundamental Matrices)

从像素级来考虑,有如下关系

【转】计算机视觉基础5——本质矩阵与基本矩阵(Essential and Fundamental Matrices)

short version: The same equation works in pixel coordinates too!

矩阵F称为基本矩阵:F=MTrRSM1l

• has rank 2

• depends on the INTRINSIC and EXTRINSIC Parameters (f, etc ; R & T)

Analogous to essential matrix. The fundamental matrix also tells how pixels (points) in each image are related to epipolar lines in the other image.

例子:

【转】计算机视觉基础5——本质矩阵与基本矩阵(Essential and Fundamental Matrices) 【转】计算机视觉基础5——本质矩阵与基本矩阵(Essential and Fundamental Matrices)

【转】计算机视觉基础5——本质矩阵与基本矩阵(Essential and Fundamental Matrices) 【转】计算机视觉基础5——本质矩阵与基本矩阵(Essential and Fundamental Matrices)

【转】计算机视觉基础5——本质矩阵与基本矩阵(Essential and Fundamental Matrices) 【转】计算机视觉基础5——本质矩阵与基本矩阵(Essential and Fundamental Matrices)

Fel=0,并根据下图,where is the epipole? vector in the right nullspace of matrix F,即F的右零空间。当然el是非零向量,也就是说Fel=0有非零解,说明矩阵F不是满秩的,或者说它是奇异的,However, due to noise,F may not be singular.So instead, next best thing is eigenvector associated with smallest eigenvalue of F。

【转】计算机视觉基础5——本质矩阵与基本矩阵(Essential and Fundamental Matrices)

>> [u,d] = eigs(F’ * F)
u =
-0.0013 0.2586 -0.9660
0.0029 -0.9660 -0.2586
1.0000 0.0032 -0.0005
d = 1.0e8*
-1.0000 0 0
0 -0.0000 0
0 0 -0.0000
eigenvector associated with smallest eigenvalue
>> uu = u(:,3)
uu = ( -0.9660 -0.2586 -0.0005)
>> uu / uu(3) : to get pixel coords
(1861.02 498.21 1.0)

 

where is the epipole?

【转】计算机视觉基础5——本质矩阵与基本矩阵(Essential and Fundamental Matrices)

【转】计算机视觉基础5——本质矩阵与基本矩阵(Essential and Fundamental Matrices)

 

相反的问题是:如果已知点的对应关系,如何计算本质矩阵和基本矩阵呢:

下一节:计算机视觉基础6——本质矩阵和基本矩阵的求解