清华大学讲义-摄象机模型和外极线几何

影下的投影点。G为物体的质心。

透视投影还有一种误差更小的线性近似，即正透视（orthoperspective）。同样从两阶段过程来考虑，正透视与平行透视的区别在于第一阶段的投影平面不是与图象平面平行，而是经过质心和CG（即焦心和质心的连线）垂直。它也可被看作以下三步操作的合成：

1. 摄象机绕焦心C旋转，直至光轴与CG重合；

2. 进行弱透视投影；

3. 将摄象机旋转回原位置，这引起图象平面上的一个仿射变换。 正透视的数学表示形式很复杂，在这里就不给出其公式了。

B.2.4 仿射摄象机

观察在正投影、弱透视和平行透视下的投影矩阵，我们发现它们都具有如下的形式： ?p11?PA?p21???0p12p220p13p230p14??p24 ?p34?? (B.22)

PA是一3*4矩阵，它决定了一个三维空间到二维平面的线性映射（用齐次坐标表示），

所以我们把PA称为仿射摄象机。与透视投影矩阵类似，PA也可相差一个尺度因子，因此它只有8个自由参量。它可由4组二维点和三维点的对应决定。

如果用非齐次坐标，仿射摄象机可表示为

m=TAM+tA (B.23)

T

其中TA为一2*3矩阵，其元素Tij=Pij/P34，而tA为二维向量[P14/P34,P24/P34]。

仿射摄象机的一个重要性质是保平行性：三维空间的平行线投影为二维空间的平行线。这和透视投影是不同的。证明很简单：设M1(?)=Ma+?*u和M1(?)=Mb+?*u是三维空间的两平行线，其中u是三维方向向量，?和?是直线参数。投影结果为m1(?)=(TAMa+tA)+?TAu和m2(?)=(TAMb+tA)+? TAu，显然它们都平行于方向向量TAu。

仿射摄象机的另一个重要性质是它把三维点集的质心投影为对应二维投影点的质心。这也是透视投影不具有的性质。

仿射摄象机的缺点是几何意义不明显。它当然是前几节介绍的各种透视投影线性近似的推广。这种推广可按下面两种方式来理解：

?M(1) 允许三维物体作某种非刚性变形。实际上，如果对PA右乘D??T?03t??这样的三1?维仿射变换，其中M为3*3矩阵，而t为三维列向量，相乘的结果仍是仿射摄象机。

?B1(2) 无需标定摄象机内参数。实际上，对PA左乘B??T?02b??这样的二维仿射变换，1?其中B1为2*2矩阵，而b为二维列向量，相乘的结果也仍是仿射摄象机。

即使不标定摄象机的内参数，我们仍能从图象中提取出如平行性、定长度比这样的仿射度量。对于某些视觉任务来说，这样的仿射度量就足够了。

最后需要指出的是仿射摄象机是实际摄象机的近似。它只在感兴趣目标的深度变化相对

232

其深度而言可忽略不计时才适用。

B.3 透视投影下的外极线几何

本节我们介绍透视投影下的外极线几何，并讨论其概念和数学表示。

B.3.1 外极线几何中的概念

外极线几何讨论的是两摄象机图象平面间的关系。考虑图B.5中的两个摄象机。设C为第一个摄象机的焦心，C’为第二个摄象机焦心；m为第一个摄象机图象平面I上的点，m’为其在第二个摄象机图象平面I’上的对应点（即两者是同一三维点M分别在两个像平面上的投影）。则m’必然位于该像平面内由m决定的一条直线lm’上。其中lm’是I’和由三维点M、两焦心C、C’决定的平面?（称为外极平面）的交线。这是因为在I上的投影点是m的三维点必然在射线CM上，而CM在I’上的投影为lm’。 lm’称为m决定的外极线。不仅如此，我们还发现，I’上所有的外极线交于同一点e’，此点称为外极点。它是CC’和I’的交点。这可以这样解释：任给I上一点m，它在I’上决定的外极线lm’是I’与?m的交线，其中?m是由m决定的外极平面。这样所有的?m形成过CC’的平面族，这个平面族与CC’的交点位于所有外极线上，因而是外极点e’。由于两摄象机的地位是完全对称的，因而类似的分析可发现，I’上任一点m’在I上决定一条外极线lm’，I上所有外极线交于外极点e。e和e’都在直线CC’上。m、m’、C和C’四点共面（其中m和m’是对应点），这被称为共面约束。它在已知摄象机内参数的情况下从运动求解结构中有重要作用。

图B.5 外极线几何

利用外极线的概念可大大减少在两幅图象间匹配对应点的计算量。由于I中点m在I’中的对应点在由m决定的外极线上，因此搜索空间的维数由二维降为一维。该约束称为外

233

极线约束。

如果两焦心的连线CC’与一个或两个摄象机的像平面平行，那么该像平面上的外极点就位于无穷远处。这说明该平面上的外极线彼此平行。另外，如果还有CC’与摄象机的水平扫描线平行，则外极线也是水平的。实际上，很多立体视觉算法都假设外极线与水平扫描线平行。

下面我们考虑两摄象机间的方向和位置关系。设第二个摄象机坐标系可由第一个摄象机坐标系经由旋转R和平移t得到。这样同一三维点在第一个坐标系中的坐标(X,Y,Z)和其在第二个摄象机坐标系中的坐标(X’,Y’,Z’)满足

?X?Y???Z??X'?????RY'?t ???????Z'??r12r22r23 (B.24)

?r11?其中R?r21???r31r13??tX????r23，t?tY。 ????r33???tZ??T

R中只有三个自由参量，因为旋转矩阵R满足RR=I且det(A)=1，这将提供六个约束。

从下节开始我们将首先推导归一化坐标系中的外极线方程，然后把它扩展到像素坐标系的情形，最后给出直接利用投影矩阵表示的形式。

B.3.2 归一化坐标系中的外极线方程

设M=(X,Y,Z)T在两摄象机像平面中的投影分别为m=(x,y)T和m’=(x’,y’)T。像平面上的点用其归一化坐标表示，M是三维点在第一个摄象机坐标系中的坐标。再设M’=(X’,Y’,Z’)是同一三维点在第二个摄象机坐标系中的坐标。根据针孔摄象机的透视模型，我们有

~?M/Z,m~'?M'/Z'。 mT

利用(B.24)消去M和M’，则有

~?1?Z'Rm~'?t?， mZ其中仍有两个与三维点有关的参数Z和Z’。为此我们用t对上式两边作叉乘，得到

~~?Z't??Rm~'?，然后再两边都与mt?m作点积（即内积），最后得到

Z~Tt??Rm~'??0 m (B.25)

上式中不再含有Z和Z’。

~(B.25)式在根据运动求解结构中十分重要。它的几何意义是十分明显的：CC’、Cm和~'~C'm三向量共面。如果用第一个摄象机坐标系中的坐标表示这三个向量，它们分别是t、m和Rm'。上节提到的共面约束决定了这三个向量的混合积为零，这就是(B.25)式。

T

下面我们定义一个从三维向量到3*3反对称矩阵的变换：它将向量(x1,x2,x3)映射为矩

~234

?0?阵x3????x2?x30x1x2??x1?????x1，记该反对称矩阵为x2。

????0???x3???利用上面的定义我们可以将两向量的叉乘表示成矩阵与向量的乘积，容易验证a?b??a??b，其中a,b为任意两个三维向量。因此(B.25)式可写成

~TEm~'?0 m

(B.26) (B.27)

其中E??t??R

(B.26)式称为外极线方程。其中E称为本质矩阵（Essential Matrix）。它最早由Longuest-Higgins在1981年由从运动到结构的求解中导出。该矩阵仅由两摄象机间的旋转和平移决定。由于?t??是反对称矩阵，因此det(E)=0。实际上，E的秩为2。

在具体分析(B.26)式前，我们首先来讨论二维平面中直线的表示方法。二维空间里的任何直线可用方程ax+by+c=0来表示。这就是说，直线可用一个三维向量l=(a,b,c)表示，该

~?(x,y,1)T满足m~Tl?0。当然l可相差一个比例因子。实际上，l乘以任直线上的所有点mT

一非零的比例因子?后得到的向量?l表示的是同一条直线。如果一条直线过m1和m2两点，

~l?0且m~l?0，因此 则我们有m12TT~?m~ l?m12 (B.28)

下面我们讨论在第一个摄象机像平面内外极线的表示。设m’=(x’,y’)T为第二个摄象机像平面的一点，其对应的三维点M’必在由C’和M'?决定的射线C'M'?上，其中M'?是该

~'射线上的无穷远点。m也在该射线上。根据透视模型我们有，

?x'?~'???y'?,??(0,?)M'??m

????1?? (B.29)

这实际上就是射线C'M'?的参数表示。而该三维点M’在第一个摄象机坐标系中的坐标

~'?tM?RM'?t??Rm。记lm’为C'M'?在第一个摄象机图象平面I中的投影，即m’在I

中决定的外极线。

这条直线可由两个点确定。为求得第一个点，我们用?=0代入C'M'?的参数方程，它

~?的投影点为e1tZt，其中tZ为t的第三个分量。这是第二个摄象机焦心在I上的投影，即

~?外极点。为得到第二个点，我们令???，这样我们得到m?1~'，其中r为R的Rm3T~rm'3235