檢視費雪線性判別的原始碼

佇咧模式識別中，'''費雪線性判別'''（Fisher's linear discriminant）是一種線性判別方法，其意圖是咧分類別為 c 類時，將 d 維空間（看仿的點是 d 維向量）中的數據點投影到 c 糊一維空間起去，予無仝類的樣本點佇這个空間頂懸的投影雖然分離，仝類的盡量鬥起來。

==兩類情形==

佇咧二類判別時，費雪線性判別將'''d'''維空間內底的數據點投影到一條直線頂懸去，予無仝類的款本點佇這條直線頂的投影雖然分離，仝類的款本點佇這條直線頂懸量共鬥予絚。假使有兩類平本集 $ { \ mathcal { D } } _ { 一 } $ 的類別為'''ω'''一，樣本數為'''n'''一，$ { \ mathcal { D } } _ { 二 } $ 的類別為'''ω'''二，樣本數為'''n'''二。定義樣本均值'''m'''i 佮類內散佈'''S'''i。


: $ \ mathbf { m } _ { i }={ \ frac { 一 } { n _ { i } } } \ sum _ { x \ in { \ mathcal { D } } _ { i } } \ mathbf { x } , i=一 , 二 $


: $ \ mathbf { S } _ { i }=\ sum _ { x \ in { \ mathcal { D } } _ { i } } \ left ( \ mathbf { x }-\ mathbf { m } _ { i } \ right ) \ left ( \ mathbf { x }-\ mathbf { m } _ { i } \ right ) ^ { t } , i=一 , 二 $

投影直線的方向咧量做'''w'''，樣本投影佇直線頂的值為 _ y _。是會當兩類平本投影后的均值和類內散佈為 $ { \ tilde { m } } _ { i } $ 和 $ { \ tilde { s } } _ { i } ^ { 二 } $，'''i'''=一 , 二。


: $ y=\ mathbf { w } ^ { t } \ mathbf { x } \ quad { \ tilde { m } } _ { i }=\ mathbf { w } ^ { t } \ mathbf { m } _ { i } , i=一 , 二 $


: $ { \ begin { aligned } { \ tilde { s } } _ { i } ^ { 二 } &=\ sum _ { y \ in { \ mathcal { Y } } _ { i } } \ left ( y-{ \ tilde { m } } _ { i } \ right ) ^ { 二 } \ \ &=\ sum _ { x \ in { \ mathcal { D } } _ { i } } \ left ( \ mathbf { w } ^ { t } \ mathbf { x }-\ mathbf { w } ^ { t } \ mathbf { m } _ { i } \ right ) ^ { 二 } \ \ &=\ sum _ { x \ in { \ mathcal { D } } _ { i } } \ mathbf { w } ^ { t } \ left ( \ mathbf { x }-\ mathbf { m } _ { i } \ right ) \ left ( \ mathbf { x }-\ mathbf { m } _ { i } \ right ) ^ { t } \ mathbf { w } \ \ &=\ mathbf { w } ^ { t } \ mathbf { S } _ { i } \ mathbf { w } \ end { aligned } } $

欲予無仝類的平本點的投影量分離，仝類做伙趕緊鬥，會使予兩類的投影的平均值的差別盡量大，其實差的佮盡量細，伊嘛是要求 $ { \ frac { \ left | { \ tilde { m } } _ { 一 }-{ \ tilde { m } } _ { 二 } \ right | ^ { 二 } } { { \ tilde { s } } _ { 一 } ^ { 二 } + { \ tilde { s } } _ { 二 } ^ { 二 } } } $ 上大化。


: $ { \ begin { aligned } { \ boldsymbol { J } } ( \ mathbf { w } ) &={ \ frac { \ left | { \ tilde { m } } _ { 一 }-{ \ tilde { m } } _ { 二 } \ right | ^ { 二 } } { { \ tilde { s } } _ { 一 } ^ { 二 } + { \ tilde { s } } _ { 二 } ^ { 二 } } } \ \ &={ \ frac { \ left ( \ mathbf { w } ^ { t } \ mathbf { m } _ { 一 }-\ mathbf { w } ^ { t } \ mathbf { m } _ { 二 } \ right ) ^ { 二 } } { \ mathbf { w } ^ { t } \ mathbf { S } _ { 一 } \ mathbf { w } + \ mathbf { w } ^ { t } \ mathbf { S } _ { 二 } \ mathbf { w } } } \ \ &={ \ frac { \ mathbf { w } ^ { t } \ left ( \ mathbf { m } _ { 一 }-\ mathbf { m } _ { 二 } \ right ) \ left ( \ mathbf { m } _ { 一 }-\ mathbf { m } _ { 二 } \ right ) ^ { t } \ mathbf { w } } { \ mathbf { w } ^ { t } \ left ( \ mathbf { S } _ { 一 } + \ mathbf { S } _ { 二 } \ right ) \ mathbf { w } } } \ \ &={ \ frac { \ mathbf { w } ^ { t } \ mathbf { S _ { B } } \ mathbf { w } } { \ mathbf { w } ^ { t } \ mathbf { S _ { W } } \ mathbf { w } } } \ \ \ end { aligned } } $


: $ \ mathbf { S _ { B } }=\ left ( \ mathbf { m } _ { 一 }-\ mathbf { m } _ { 二 } \ right ) \ left ( \ mathbf { m } _ { 一 }-\ mathbf { m } _ { 二 } \ right ) ^ { t } , \ mathbf { S _ { W } }=\ left ( \ mathbf { S } _ { 一 } + \ mathbf { S } _ { 二 } \ right ) $

會當證明當'''w'''滿足 $ \ mathbf { S _ { B } w }=\ lambda \ mathbf { S _ { W } w } $，即'''w'''的方向佮 $ \ mathbf { S _ { W } } ^ { 影一 } \ left ( \ mathbf { m } _ { 一 }-\ mathbf { m } _ { 二 } \ right ) $ 相仝彼時陣，_'''J'''_ ('''w''') 取得上大的值。賰的問題就是按怎求解交易'''w'''零，也就是這个一維空間內底共兩類分開的彼个點的位。當 _'''J'''_ ('''w''') 超過'''w'''零就判決做某一類別'''ω'''，抑無就是判決做另外一類別。毋過目前並無一个通用的選取方法。

佇兩个類別的分布是多元常態分布，而且協方差矩陣仝款的時陣，根據貝葉斯決策理論，$ \ mathbf { w }=\ mathbf { \ Sigma } ^ { 影一 } \ left ( \ mathbf { u } _ { 一 }-\ mathbf { u } _ { 二 } \ right ) $，並且'''w'''零是一个佮'''w'''佮先驗概率有關係的常數。咱會當用樣本均值佮樣本協方差去估計'''u'''i 和'''Σ'''。閣較一般來講，若是咱對投影后的數據咧行平滑，抑用一維高斯函數進行擬合，'''ω'''零就佇咧使兩類的後驗概率仝款的位置。

==有足濟類的狀況==

費雪線性判別佇面對二類判別時，共兩類本向一條直線佇咧投影，也就是將數據對 d 維空間向一維空間投影。按呢佇咧面對 c 因為一切的時陣，所欲做就是將數據對 d 維空間向 c 鋪一維空間投影。這就需要推廣投影方程、類間散布矩陣'''S'''B 佮類內散佈矩陣'''S'''W。對 d 維空間向 c 鋪一維空間的投影是通過 c 抹一投影方程進行的：

$ $
y _ { i }=\ mathbf { w } _ { i } ^ { t } \ mathbf { x } , \ mathbf { x } \ in { \ mathcal { D } } _ { i } \ quad i=一 , \ ldots , c 影一
$ $

遮的 $ { \ mathcal { D } } _ { i } $ 為第 i 類的樣本集。設 $ \ mathbf { y }=[y _ { 一 } , y _ { 二 } , \ ldots , y _ { c 影一 }] ^ { t } \ quad \ mathbf { W }=[w _ { 一 } , w _ { 二 } , \ ldots , w _ { c 影一 }] $，c 學一个方程會當閣較簡練的表達：

$ $
\ mathbf { y }=\ mathbf { W } ^ { t } \ mathbf { x } , \ mathbf { y } \ in { \ mathcal { Y } } _ { i } \ quad i=一 , \ ldots , c 影一
$ $

遮的 $ { \ mathcal { Y } } _ { i } $ 為第 i 類似本的投影向量集。類間散布矩陣'''S'''B 佮類內散佈矩陣'''S'''W 會當由總體散布矩陣'''S'''T 佮總體攏值向量'''m'''推導會著：$ \ mathbf { m }={ \ frac { 一 } { n } } \ sum _ { \ mathbf { x } } \ mathbf { x }={ \ frac { 一 } { n } } \ sum _ { i=一 } ^ { c } n _ { i } \ mathbf { m } _ { i } \ qquad \ mathbf { S } _ { T }=\ sum _ { \ mathbf { x } } ( \ mathbf { x }-\ mathbf { m } ) ( \ mathbf { x }-\ mathbf { m } ) ^ { t } $

$ $
{ \ begin { aligned } \ mathbf { S } _ { T } &=\ sum _ { i=一 } ^ { c } \ sum _ { \ mathbf { x } \ in { \ mathcal { D } } _ { i } } ( \ mathbf { x }-\ mathbf { m } _ { i } + \ mathbf { m } _ { i }-\ mathbf { m } ) ( \ mathbf { x }-\ mathbf { m } _ { i } + \ mathbf { m } _ { i }-\ mathbf { m } ) ^ { t } \ \ &=\ sum _ { i=一 } ^ { c } \ sum _ { \ mathbf { x } \ in { \ mathcal { D } } _ { i } } ( \ mathbf { x }-\ mathbf { m } _ { i } ) ( \ mathbf { x }-\ mathbf { m } _ { i } ) ^ { t } + \ sum _ { i=一 } ^ { c } \ sum _ { \ mathbf { x } \ in { \ mathcal { D } } _ { i } } ( \ mathbf { m } _ { i }-\ mathbf { m } ) ( \ mathbf { m } _ { i }-\ mathbf { m } ) ^ { T } \ \ \ end { aligned } }
$ $

定義類的散佈矩陣'''S'''B 佮類內散佈矩陣'''S'''W：

$ $
\ mathbf { S } _ { W }=\ sum _ { i=一 } ^ { c } \ sum _ { \ mathbf { x } \ in { \ mathcal { D } } _ { i } } ( \ mathbf { x }-\ mathbf { m } _ { i } ) ( \ mathbf { x }-\ mathbf { m } _ { i } ) ^ { t } \ quad \ mathbf { S _ { B } }=\ sum _ { i=一 } ^ { c } \ sum _ { \ mathbf { x } \ in { \ mathcal { D } } _ { i } } ( \ mathbf { m } _ { i }-\ mathbf { m } ) ( \ mathbf { m } _ { i }-\ mathbf { m } ) ^ { T }
$ $

$ $
\ mathbf { S } _ { T }=\ mathbf { S } _ { W } + \ mathbf { S _ { B } }
$ $

遐爾仔本數據的投影向量的類間散布矩陣 $ { \ widetilde { \ mathbf { S } } } _ { \ mathbf { B } } $ 佮類內散佈矩陣 $ { \ widetilde { \ mathbf { S } } } _ { \ mathbf { W } } $：即為：

$ $
{ \ widetilde { \ mathbf { S } } } _ { \ mathbf { B } }=\ sum _ { i=一 } ^ { c } \ sum _ { \ mathbf { y } \ in { \ mathcal { Y } } _ { i } } ( { \ widetilde { \ mathbf { m } } } _ { i }-{ \ widetilde { \ mathbf { m } } } ) ( { \ widetilde { \ mathbf { m } } } _ { i }-{ \ widetilde { \ mathbf { m } } } ) ^ { T }=\ mathbf { W } ^ { t } \ mathbf { S _ { B } } \ mathbf { W }
$ $

$ $
{ \ widetilde { \ mathbf { S } } } _ { \ mathbf { W } }=\ sum _ { i=一 } ^ { c } \ sum _ { \ mathbf { y } \ in { \ mathcal { Y } } _ { i } } ( \ mathbf { y }-{ \ widetilde { \ mathbf { m } } } _ { i } ) ( \ mathbf { y }-{ \ widetilde { \ mathbf { m } } } _ { i } ) ^ { t }=\ mathbf { W } ^ { t } \ mathbf { S _ { W } } \ mathbf { W }
$ $

佮兩類情形類似，欲揣著某一'''W'''予類似內散布盡量細，散布盡量大。但是遮的類內散佈佮類間散布不再是一個值，是一个矩陣。矩陣的行列式是矩陣的特徵值的乘積，也就是講數據佇咧各個主要的方向的差的積，等於是類別散布超雞卵糕體積的平方。故使用行列式來度量散布，按呢判別函數就算做 $ { \ boldsymbol { J } } ( \ mathbf { w } )={ \ frac { | { \ widetilde { \ mathbf { S } } } _ { \ mathbf { B } } | } { | { \ widetilde { \ mathbf { S } } } _ { \ mathbf { W } } | } }={ \ frac { | \ mathbf { W } ^ { t } \ mathbf { S _ { B } } \ mathbf { W } | } { | \ mathbf { W } ^ { t } \ mathbf { S _ { W } } \ mathbf { W } | } } $

會當證明，當'''W'''的列向量'''w'''i 是 $ \ mathbf { S _ { B } } \ mathbf { w } _ { i }=\ mathbf { \ lambda } _ { i } \ mathbf { S _ { W } } \ mathbf { w } _ { i } $ 的廣義特徵向量的時，有法度予 _'''J'''_ ('''w''') 上大。因為乎'''S'''B 中 c 一秩為一抑是零的矩陣相加，而且其中干焦 c 學一个矩陣是互相獨立的。所以乎'''S'''B 的秩上濟為 c 影一。所以上濟干焦 c 學一个特徵向量是非零的。

==應用==

===尪仔面熟別===

佇咧人面捌別中，每一个人面圖像具有大量的像素點。LDA 主要用來共特徵減少到一个會當處理的數目咧進行分類。每一个新的維度攏是原先像素值的線性組合，這就構成一个模仔。按呢得著的線性組合予人叫做 Fisher faces , 通過主成分析得著的則叫做特徵面。

==參考文獻==

* Duda , R . O . ; Hart , P . E . ; Stork , D . H . Pattern Classification 二版。機械工業出版社 . 兩千空四 . ISBN  七刣一百一十一孵一孵三千六百八十七-X .
* Fisher , R . A . The Use of Multiple Measurements in Taxonomic Problems . Annals of Eugenics . 一千九百三十六 ,'''七'''( 二 ) : 一百七十九–一百八十八 . doi : 十席一一一一 / j . 一千四百六十九石一千八百空九石一九三六 . tb 兩千一百三十七 . x . hdl : 一石五千兩百二十七分之兩千四百四十 .

[[分類: 待校正]]