基礎矩陣

佇計算機視覺內底，基礎矩陣（Fundamental matrix）$ \ mathrm { F } $ 是一个三 × 三的矩陣，表達立體像著的像講點之間的對應關係。佇咧對極幾何中，對立體內底一對仝款的點，𪜶的齊次化圖像坐標分別為 $ p $ 佮 $ p'$，$ \ mathrm { F } p $ 表示一條必定經過 $ p'$ 的直線（極線）。 這意味著立體像著的所有仝款的點著攏滿足：

$ p'^ { \ top } \ mathrm { F } p=零 $

F 矩陣中蘊含了立體像對的兩幅圖像咧翕相的時陣互相之間的空間幾何關係（外參數）佮相機檢校的參數（內參數）， 包括旋轉、位徙、像主點坐標佮焦距離。因為乎 $ \ mathrm { F } $ 矩陣的秩為二，而且會當自由縮放（尺度化）， 所以只需要七對仝名點就會當算出 F 的值。

基礎矩陣這概念由 Q . T . Luong 佇伊彼篇誠有影響力的博士畢業論文中提出。Faugeras 定是佇一九九二年發表的著作中以上頂懸的關係式予出了 $ \ mathrm { F } $ 矩陣的定義。就算講 Longuet-Higgins 提出的本質矩陣嘛滿足類似的關係式，但本質矩陣中並無蘊含相機檢校參數。本質矩陣佮基礎矩陣之間的關係會當由下式表達：

$ \ mathrm { E }=\ mathrm { K'^ { \ top } } \ mathrm { FK } $

其中 $ \ mathrm { K } $ 和 $ \ mathrm { K'} $ 分別為兩个相機的內參數矩陣。

推導

基礎矩陣有真濟種推導方式，下跤來介紹其中一種。

佇雙相機的翕場景中建立一个空間直角坐標系，講號做世界坐標系（如圖一中藍色坐標系）。 物點就是場景中物體表面上的點，比如講點 $ P $ 佇咧世界坐標系當中的坐標為 $ ( X , Y , Z ) ^ { \ top } $。

相機的光心對物理上講就是相機鏡頭組的光學中心。以光心為原點，主光軸為 Z 軸建立空間直角坐標系，叫做相機坐標系（如圖一中綠色佮紅色坐標系）。 像平面佇相機坐標系中的方程即為 z=一，像點就是佇物點佇像平面上的投影，這个投影關係是透視投影。

用一句話來概括相機的翕模型，就是物點、像點、光心三點一線，現模型叫做針空相機模型。在此模型中，世界坐標縖甲左右相機坐標系的變換是頭拄仔變換，即只包含旋轉和平移，咱分別用增廣矩陣 $ [R | t] $ 和 $ [R'| t'] $ 表示，其中 $ R $ 和 $ R'$ 是 $ 三 \ times 三 $ 的旋轉矩陣，$ t $ 和 $ t'$ 為平徙向量。令 $ { \ widetilde { P } } $ 為 P 的齊次化坐標，遐爾仔物件 P 佇左右相機坐標系下的坐標分別為 $ P _ { cam } ( X _ { C } , Y _ { C } , Z _ { C } ) ^ { \ top }=[ R | t] { \ widetilde { P } } $ 和 $ P'_ { cam } ( X _ { C'} , Y _ { C'} , Z _ { C'} ) ^ { \ top }=[ R'| t'] { \ widetilde { P } } $。

以一台相機做例，如圖二所示，$ C $ 為相機光心，$ Z $ 軸為主軸。物點佇相機坐標系下的坐標 $ { \ widetilde { P } } $ 佮用相片倒落去做原點的像點坐標 $ p $ 是有如下關係：

$ x=\ left ( { \ frac { f _ { x } X _ { C } } { Z _ { C } } } + x _ { 零 } , \ right ) ^ { \ top } $ 和 $ y=\ left ( { \ frac { f _ { y } Y _ { C } } { Z _ { C } } } + y _ { 零 } , \ right ) ^ { \ top } $

式當中 $ ( x _ { 零 } , y _ { 零 } , f ) $ 為著像主點佇咧相機坐標系下跤的坐標。

設兩相機內的參數矩陣同為：

$ K=\ left [{ \ begin { array } { ccc } f _ { x } & 零 & { p _ { c } } _ { x } \ \ 零 & f _ { y } & { p _ { c } } _ { y } \ \ 零 & 零 & 一 \ end { array } } \ right] , $

遐爾物件佮像點之間的關係為：

$ p={ \ frac { 一 } { Z _ { C } } } KP _ { cam }={ \ frac { 一 } { Z _ { C } } } K [R | t] P , $

$ p'={ \ frac { 一 } { Z _ { C } } } KP'_ { cam }={ \ frac { 一 } { Z _ { C } } } K [ R'| t'] P , $

將 $ P=[R | t] ^ { + } P _ { cam }=Z'_ { C } K [R | t] ^ { + } p $ 代入上式，並令 $ H _ { \ pi }=K [R'| t'] K [ R | t] ^ { + } $，得：

$ p'={ \ frac { Z'_ { C } } { Z _ { C } } } H _ { \ pi } p $

因為物點、像點、光心三點一線，遐爾仔物件、一對仝名點佮兩个光心這五个點一定處佇仝一个平面上，咱共這个平面叫做 𝜋 平面。𝜋 平面佮像平面的交線叫做極線 $ l'$。顯然，倒片上的每一个像點 $ p $ 對正片上的一條極線 $ l'$，而且 $ p'$ 一定佇咧 $ l'$ 上。兩个相機光心的連線佮正片親像平面的交點叫做極點，用 $ e'$ 表示。

佇正片像平面內底，極線 $ l'$ 的方程會當表示講 $ Ax + By + C=零 $。這个平面直線方面的一般式會當看做是講：

$ ( A , B , C ) ^ { \ top } \ cdot ( x , y , 一 ) ^ { \ top }=零 $

所以，咱會當用一个三維的量 $ ( A , B , C ) $ 來表示極線 $ l'$，並且 $ l'$ 的方程會當簡單的由 $ e'$ 坐標向量佮 $ p'$ 坐標向量做向量積會著，即 $ l': e'\ times p'=[ e'] _ { \ times } p'$。其中

$ [e'] _ { \ times }=\ left [ { \ begin { array } { ccc } 零 & 影一 & y _ { 零 } \ \ 一 & 零 &-x _ { 零 } \ \-y _ { 零 } & x _ { 零 } & 零 \ end { array } } \ right] , $

令 $ [ e'] x $ 表示向量積的矩陣的形式，按呢閣共同名點之間的變換關係代入，得著極線的方程為：$ l': { \ frac { Z'_ { C } } { Z _ { C } } } [ e'] _ { \ times } H _ { \ pi } p $

因為乎 $ p'$ 佇咧 $ l'$ 上，所以講顯然有：

$ p'l'=p'[ e'] _ { \ times } H _ { \ pi } p=零 $

令 $ \ mathrm { F }=[ e'] _ { \ times } H _ { \ pi } $，即得著：

$ p'^ { \ top } \ mathrm { F } p=零 $

外部連結

• 淺談基礎陣、本質矩陣佮相機徙動 Beginner's Guide to Fundamental Matrix , Essential Matrix and Camera Motion Recovery