查看“︁基础矩阵”︁的源代码

{{expert|time=2014-12-17T15:59:32+00:00}}
在[[计算机视觉]]中，'''基础矩阵'''（Fundamental matrix）<math>\mathrm{F}</math>是一个3×3的[[矩阵]]，表达了[[立体像对]]的[[像点]]之间的对应关系。在[[对极几何]]中，对于立体像对中的一对[[同名点]]，它们的齐次化图像坐标分别为<math>p</math>与<math>p'</math>，<math>\mathrm{F}p</math>表示一条必定经过<math>p'</math>的直线（[[极线]]）。这意味着立体像对的所有同名点对都满足：
:<math>p'^{\top}\mathrm{F}p=0 </math>

F矩阵中蕴含了立体像对的两幅图像在拍摄时相互之间的空间几何关系（外参数）以及相机检校参数（内参数），包括旋转、位移、像主点坐标和焦距。因为<math>\mathrm{F}</math>矩阵的秩为2，并且可以自由缩放（尺度化），所以只需7对同名点即可估算出F的值。

基础矩阵这一概念由Q. T. Luong在他那篇很有影响力的博士毕业论文<ref name="Luong-1992"/>中提出。Faugeras则是在1992年发表的著作<ref name="Faugeras-1992"/>中以上面的关系式给出了<math>\mathrm{F}</math>矩阵的定义。尽管Longuet-Higgins提出的[[本质矩阵]]也满足类似的关系式，但本质矩阵中并不蕴含相机检校参数。本质矩阵与基础矩阵之间的关系可由下式表达：

:<math>\mathrm{E}=\mathrm{K'^{\top}}\mathrm{FK} </math>

其中<math>\mathrm{K}</math>和<math>\mathrm{K'}</math>分别为两个相机的内参数矩阵。

== 推导 ==
基础矩阵有许多种推导方式，下面介绍其中一种。
[[File:Fmat ded fig1.png|thumb|图1]]
在双相机的拍摄场景中建立一个空间直角坐标系，称为世界坐标系（如图1中蓝色坐标系）。物点就是场景中物体表面上的点，比如说点<math>P</math>在世界坐标系中的坐标为<math>(X,Y,Z)^{\top}</math>。

相机的光心从物理上讲就是相机镜头组的光学中心。以光心为原点，主光轴为Z轴建立空间直角坐标系，称为相机坐标系（如图1中绿色和红色坐标系）。像平面在相机坐标系中的方程即为z=1，像点就是在物点在像平面上的[[投影]]，这个投影关系是[[透视投影]]。

用一句话来概括相机的拍摄模型，就是物点、像点、光心三点一线，此模型称为针孔相机模型。在此模型中，世界坐标系到左右相机坐标系的变换是刚性变换，即只包含旋转和平移，因此我们分别用增广矩阵<math>[R|t]</math>和<math>[R'|t']</math>表示，其中<math>R</math>和<math>R'</math>是<math>3\times 3</math>的旋转矩阵，<math>t</math>和<math>t'</math>为平移向量。令<math>\widetilde{P}</math>为P的齐次化坐标，那么物点P在左右相机坐标系下的坐标分别为<math>P_{cam}(X_C,Y_C,Z_C)^{\top}=[R|t]\widetilde{P}</math>和<math>P'_{cam}(X_{C'},Y_{C'},Z_{C'})^{\top}=[R'|t']\widetilde{P}</math>。

[[File:Fmat ded fig3.png|thumb|图2]]

以一台相机为例，如图2所示，<math>C</math>为相机光心，<math>Z</math>轴为主轴。物点在相机坐标系下的坐标<math>\widetilde{P}</math>和以相片左下角为原点的像点坐标<math>p</math>有如下关系：
:<math>x=\left(\frac{f_xX_C}{Z_C}+x_0,\right)^{\top}</math> 和 <math>y=\left(\frac{f_yY_C}{Z_C}+y_0,\right)^{\top} </math>
式中<math>(x_0,y_0,f)</math>为像主点在相机坐标系下的坐标。

设两相机内参数矩阵同为：
:<math>K=\left[
\begin{array}{ccc}
f_x & 0 & {p_c}_x \\
0 & f_y & {p_c}_y \\
0 & 0 & 1
\end{array}
\right],</math>

那么物点与像点之间的关系为：
:<math>p=\frac{1}{Z_C}KP_{cam}=\frac{1}{Z_C}K[R|t]P,</math>
:<math>p'=\frac{1}{Z_C}KP'_{cam}=\frac{1}{Z_C}K[R'|t']P,</math>
将<math>P=[R|t]^+P_{cam}=Z'_CK[R|t]^+p</math>代入上式，并令<math>H_\pi=K[R'|t']K[R|t]^+</math>，得：
:<math>p'=\frac{Z'_C}{Z_C}H_\pi p </math>

由于物点、像点、光心三点一线，那么物点、一对同名点和2个光心这5个点一定处于同一个平面上，我们将这个平面称为𝜋平面。𝜋平面和像平面的交线称为极线<math>l'</math>。显然，左片上的每一个像点<math>p</math>对应于右片上的一条极线<math>l'</math>，且<math>p'</math>一定在<math>l'</math>上。两个相机光心的连线与右片像平面的交点称为极点，用<math>e'</math>表示。

在右片像平面内，极线<math>l'</math>的方程可以表示为<math>Ax+By+C=0</math>。这个平面直线方程的一般式可以视为：
:<math>(A,B,C)^{\top}\cdot(x,y,1)^{\top}=0 </math>

因此，我们可以用一个三维向量<math>(A,B,C)</math>来表示极线<math>l'</math>，并且<math>l'</math>的方程可以简单的由<math>e'</math>坐标向量与<math>p'</math>坐标向量做向量积得到，即<math>l':e'\times p'=[e']_{\times}p'</math>。其中
:<math>[e']_{\times}=\left[
\begin{array}{ccc}
0 & -1 & y_0 \\
1 & 0 & -x_0 \\
-y_0 & x_0 & 0
\end{array}
\right],</math>

令<math>[e']x</math>表示向量积的矩阵形式，那么再将同名点之间的变换关系代入，得到极线的方程为：
<math>l':\frac{Z'_C}{Z_C}[e']_{\times}H_{\pi}p</math>

因为<math>p'</math>在<math>l'</math>上，所以显然有：
:<math>p'l'=p'[e']_{\times}H_{\pi}p=0 </math>

令<math>\mathrm{F}=[e']_{\times}H_{\pi}</math>，即得到：
:<math>p'^{\top}\mathrm{F}p=0 </math>

== 根据立体像对估算基础矩阵 ==
=== 7点法 ===
=== 8点法 ===
=== 5点法 ===

== 在三维重建技术中的应用 ==

== 参考文献 ==
{{reflist|
refs=
<ref name="Luong-1992">
{{cite book |
title=Matrice fondamentale et auto-calibration en vision par ordinateur |
author=Q. T. Luong |
series=PhD Thesis, University of Paris, Orsay |
year=1992
}}</ref>
<ref name="Faugeras-1992">
{{cite conference |
title=What can be seen in three dimensions with an uncalibrated stereo rig? |
author=Olivier D. Faugeras |
booktitle=Proceedings of European Conference on Computer Vision |
year=1992
}}</ref>
}}

== 外部链接 ==
* [https://www.researchgate.net/publication/303522230_qiantanjichujuzhenbenzhijuzhenyuxiangjiyidong_Beginner's_Guide_to_Fundamental_Matrix_Essential_Matrix_and_Camera_Motion_Recovery 淺談基礎矩陣、本質矩陣與相機移動 Beginner's Guide to Fundamental Matrix, Essential Matrix and Camera Motion Recovery] {{Wayback|url=https://www.researchgate.net/publication/303522230_qiantanjichujuzhenbenzhijuzhenyuxiangjiyidong_Beginner's_Guide_to_Fundamental_Matrix_Essential_Matrix_and_Camera_Motion_Recovery |date=20160610071935 }}

[[Category:数学术语]]
[[Category:计算机视觉]]