计算机视觉教程 1-4：对极几何基础图解

目录

• 1 导论
• 2 对极约束推导

1 导论

透视几何的缺陷是图像深度信息的丢失，如图1所示，根据相似变换关系，视线上的若干平面都映射为成像面上的一个平面。

对极几何是两个透视几何模型间的几何约束关系，主要用于实现基于三角测量的双目立体视觉、深度估计等，对极几何约束只能实现点到线的映射，因此约束条件弱于透视几何。图2展示了对极几何的基本概念，其中3D世界的真实点称为物点 X X X；物点在相机成像面上形成像点 x L x_L x

L

、 x R x_R x

R

；两台透视相机间光心的连线称为基线；基线与成像面的交点称为极点 e L e_L e

L

、 e R e_R e

R

，若图像中不存在极点，则说明两个摄像机不能拍摄到彼此；像点与极点的连线称为极线，所有极线相交于极点；透视相机光心与物点确定的平面称为极平面，对于不同物点，极平面绕基线旋转，极线绕极点矩形，如图3所示。

2 对极约束推导

下面讨论两个透视模型间的关系。不妨以左侧相机为参考，设物点 L  ⁣ X = [ X Y Z ] T ^{\boldsymbol{L}}\!X=\left[

XYZ

XYZ

\right] ^T

L

X=[

X

 

Y

 

Z

]

T

，左右两相机间的变换关系为

L R T = [ R t 0 1 ] _{\boldsymbol{L}}^{\boldsymbol{R}}\boldsymbol{T}=\left[

R0t1

Rt01

\right]

L

R

T=[

R

0

 

t

1

]

则物点在右透视相机坐标系里的3D坐标为

R  ⁣ X = L R T L  ⁣ X = R [ X Y Z ] + t = [ X ′ Y ′ Z ′ ] ^{\boldsymbol{R}}\!\boldsymbol{X}=_{\boldsymbol{L}}^{\boldsymbol{R}}\boldsymbol{T}^{\boldsymbol{L}}\!\boldsymbol{X}=\boldsymbol{R}\left[

XYZ

XYZ

\right] +\boldsymbol{t}=\left[

X′Y′Z′

X′Y′Z′

\right]

R

X=

L

R

T

L

X=R

⎣

⎡

 

X

Y

Z

 

⎦

⎤

+t=

⎣

⎡

 

X

′

Y

′

Z

′

 

⎦

⎤

事实上，向量 t t t与成像面的交点即为极点。

根据相似关系，物点在左、右成像面上几何坐标为

{ x L = f L X Z y L = f L Y Z z L = f L ⇒ L  ⁣ x = f L Z     L  ⁣ X    { x R = f R X ′ Z ′ y R = f R Y ′ Z ′ z R = f R ⇒ R  ⁣ x = f R Z ′     R  ⁣ X

⎧⎩⎨⎪⎪xL=fLXZyL=fLYZzL=fL

{xL=fLXZyL=fLYZzL=fL

\Rightarrow ^{\boldsymbol{L}}\!\boldsymbol{x}=\frac{f_L}{Z}\,\,^{\boldsymbol{L}}\!\boldsymbol{X}\,\,

⎧⎩⎨⎪⎪⎪⎪xR=fRX′Z′yR=fRY′Z′zR=fR

{xR=fRX′Z′yR=fRY′Z′zR=fR

\Rightarrow ^{\boldsymbol{R}}\!\boldsymbol{x}=\frac{f_R}{Z'}\,\,^{\boldsymbol{R}}\!\boldsymbol{X}

⎩

⎪

⎨

⎪

⎧

 

x

L

=f

L

 

Z

X

y

L

=f

L

 

Z

Y

z

L

=f

L

⇒

L

x=

Z

f

L

 

L

X

⎩

⎪

⎨

⎪

⎧

 

x

R

=f

R

 

Z

′

X

′

y

R

=f

R

 

Z

′

Y

′

z

R

=f

R

⇒

R

x=

Z

′

f

R

 

R

X

结合齐次变换关系，有

R  ⁣ x = f R Z ′ ( R L  ⁣ X + t ) = f R Z ′ ( R Z f L ⋅ L  ⁣ x + t ) = α R L  ⁣ x + β t    ^{\boldsymbol{R}}\!\boldsymbol{x}=\frac{f_R}{Z'}\left( \boldsymbol{R}^{\boldsymbol{L}}\!\boldsymbol{X}+\boldsymbol{t} \right) \\=\frac{f_R}{Z'}\left( \boldsymbol{R}\frac{Z}{f_L}\cdot ^{\boldsymbol{L}}\!\boldsymbol{x}+\boldsymbol{t} \right) \\=\alpha \boldsymbol{R}^{\boldsymbol{L}}\!\boldsymbol{x}+\beta \boldsymbol{t}\,\,

R

x=

Z

′

f

R

(R

L

X+t)

=

Z

′

f

R

(R

f

L

Z

⋅

L

x+t)

=αR

L

x+βt

其中 α \alpha α、 β \beta β为两个与尺度有关的常数。将等式两边同时与向量 t t t做外积，有

R  ⁣ x × t = ( α R L  ⁣ x + β t ) × t ^{\boldsymbol{R}}\!\boldsymbol{x}\times \boldsymbol{t}=\left( \alpha \boldsymbol{R}^{\boldsymbol{L}}\!\boldsymbol{x}+\beta \boldsymbol{t} \right) \times \boldsymbol{t}

R

x×t=(αR

L

x+βt)×t

线性化为

t ∧ R  ⁣ x = α t ∧ R L  ⁣ x {\boldsymbol{t}^{\land}}^{\boldsymbol{R}}\!\boldsymbol{x}=\alpha \boldsymbol{t}^{\land}\boldsymbol{R}^{\boldsymbol{L}}\!\boldsymbol{x}

t

∧

 

R

x=αt

∧

R

L

x

两边同乘 R  ⁣ x T ^{\boldsymbol{R}}\!\boldsymbol{x}^T

R

x

T

，考虑到 R  ⁣ x T ^{\boldsymbol{R}}\!\boldsymbol{x}^T

R

x

T

与向量 R  ⁣ x × t ^{\boldsymbol{R}}\!\boldsymbol{x}\times \boldsymbol{t}

R

x×t垂直，故

α R  ⁣ x T t ∧ R L  ⁣ x = 0 \alpha ^{\boldsymbol{R}}\!\boldsymbol{x}^T\boldsymbol{t}^{\land}\boldsymbol{R}^{\boldsymbol{L}}\!\boldsymbol{x}=0

α

R

x

T

t

∧

R

L

x=0

消去常数 α \alpha α，即得

R  ⁣ x T E L  ⁣ x = 0 {^{\boldsymbol{R}}\!\boldsymbol{x}^T\boldsymbol{E}^{\boldsymbol{L}}\!\boldsymbol{x}=0}

R

x

T

E

L

x=0

其中 E = t ∧ R \boldsymbol{E}=\boldsymbol{t}^{\land}\boldsymbol{R} E=t

∧

R称为本征矩阵(Essential Matrix)，表征了同一物点在两个透视相机成像面上像点的几何约束关系。

下面引入相机内参矩阵，将像点映射到像素平面

{ L  ⁣ ⁣  u = K L L  ⁣ x R  ⁣ ⁣  u = K R R  ⁣ x

{Lu=KLLxRu=KRRx

{Lu=KLLxRu=KRRx

{

L

u=K

L

 

L

x

R

u=K

R

 

R

x

代入上式即得

R  ⁣ u T F L  ⁣ u = 0 { ^{\boldsymbol{R}}\!\boldsymbol{u}^T\boldsymbol{F}^{\boldsymbol{L}}\!\boldsymbol{u}=0}

R

u

T

F

L

u=0

其中 F = K R − T E K L − 1 \boldsymbol{F}=\boldsymbol{K}_{R}^{-T}\boldsymbol{EK}_{L}^{-1} F=K

R

−T

EK

L

−1

称为基本矩阵(Fundamental Matrix)，表征了同一物点在两个透视相机像素面上像素点间的几何约束关系。

本征矩阵与基本矩阵表征了两个透视模型对极几何的代数特征，以上二式共同构成对极约束(Epipolar Constraint)。

???? 计算机视觉基础教程说明

???? 更多精彩专栏：

• 《机器人原理与技术》
• 《计算机视觉教程》
• 《机器学习》
• 《嵌入式系统》
• 《数值优化方法》
• …