費雪線性判別
佇咧模式識別中，費雪線性判別（Fisher's linear discriminant）是一種線性判別方法，其意圖是咧分類別為 c 類時，將 d 維空間（看仿的點是 d 維向量）中的數據點投影到 c 糊一維空間起去，予無仝類的樣本點佇這个空間頂懸的投影雖然分離，仝類的盡量鬥起來。
兩類情形
佇咧二類判別時，費雪線性判別將d維空間內底的數據點投影到一條直線頂懸去，予無仝類的款本點佇這條直線頂的投影雖然分離，仝類的款本點佇這條直線頂懸量共鬥予絚。假使有兩類平本集 $ { \ mathcal { D } } _ { 一 } $ 的類別為ω一，樣本數為n一，$ { \ mathcal { D } } _ { 二 } $ 的類別為ω二，樣本數為n二。定義樣本均值mi 佮類內散佈Si。
- $ \ mathbf { m } _ { i }={ \ frac { 一 } { n _ { i } } } \ sum _ { x \ in { \ mathcal { D } } _ { i } } \ mathbf { x } , i=一 , 二 $
- $ \ mathbf { S } _ { i }=\ sum _ { x \ in { \ mathcal { D } } _ { i } } \ left ( \ mathbf { x }-\ mathbf { m } _ { i } \ right ) \ left ( \ mathbf { x }-\ mathbf { m } _ { i } \ right ) ^ { t } , i=一 , 二 $
投影直線的方向咧量做w，樣本投影佇直線頂的值為 _ y _。是會當兩類平本投影后的均值和類內散佈為 $ { \ tilde { m } } _ { i } $ 和 $ { \ tilde { s } } _ { i } ^ { 二 } $，i=一 , 二。
- $ y=\ mathbf { w } ^ { t } \ mathbf { x } \ quad { \ tilde { m } } _ { i }=\ mathbf { w } ^ { t } \ mathbf { m } _ { i } , i=一 , 二 $
- $ { \ begin { aligned } { \ tilde { s } } _ { i } ^ { 二 } &=\ sum _ { y \ in { \ mathcal { Y } } _ { i } } \ left ( y-{ \ tilde { m } } _ { i } \ right ) ^ { 二 } \ \ &=\ sum _ { x \ in { \ mathcal { D } } _ { i } } \ left ( \ mathbf { w } ^ { t } \ mathbf { x }-\ mathbf { w } ^ { t } \ mathbf { m } _ { i } \ right ) ^ { 二 } \ \ &=\ sum _ { x \ in { \ mathcal { D } } _ { i } } \ mathbf { w } ^ { t } \ left ( \ mathbf { x }-\ mathbf { m } _ { i } \ right ) \ left ( \ mathbf { x }-\ mathbf { m } _ { i } \ right ) ^ { t } \ mathbf { w } \ \ &=\ mathbf { w } ^ { t } \ mathbf { S } _ { i } \ mathbf { w } \ end { aligned } } $
欲予無仝類的平本點的投影量分離，仝類做伙趕緊鬥，會使予兩類的投影的平均值的差別盡量大，其實差的佮盡量細，伊嘛是要求 $ { \ frac { \ left | { \ tilde { m } } _ { 一 }-{ \ tilde { m } } _ { 二 } \ right | ^ { 二 } } { { \ tilde { s } } _ { 一 } ^ { 二 } + { \ tilde { s } } _ { 二 } ^ { 二 } } } $ 上大化。
- $ { \ begin { aligned } { \ boldsymbol { J } } ( \ mathbf { w } ) &={ \ frac { \ left | { \ tilde { m } } _ { 一 }-{ \ tilde { m } } _ { 二 } \ right | ^ { 二 } } { { \ tilde { s } } _ { 一 } ^ { 二 } + { \ tilde { s } } _ { 二 } ^ { 二 } } } \ \ &={ \ frac { \ left ( \ mathbf { w } ^ { t } \ mathbf { m } _ { 一 }-\ mathbf { w } ^ { t } \ mathbf { m } _ { 二 } \ right ) ^ { 二 } } { \ mathbf { w } ^ { t } \ mathbf { S } _ { 一 } \ mathbf { w } + \ mathbf { w } ^ { t } \ mathbf { S } _ { 二 } \ mathbf { w } } } \ \ &={ \ frac { \ mathbf { w } ^ { t } \ left ( \ mathbf { m } _ { 一 }-\ mathbf { m } _ { 二 } \ right ) \ left ( \ mathbf { m } _ { 一 }-\ mathbf { m } _ { 二 } \ right ) ^ { t } \ mathbf { w } } { \ mathbf { w } ^ { t } \ left ( \ mathbf { S } _ { 一 } + \ mathbf { S } _ { 二 } \ right ) \ mathbf { w } } } \ \ &={ \ frac { \ mathbf { w } ^ { t } \ mathbf { S _ { B } } \ mathbf { w } } { \ mathbf { w } ^ { t } \ mathbf { S _ { W } } \ mathbf { w } } } \ \ \ end { aligned } } $
- $ \ mathbf { S _ { B } }=\ left ( \ mathbf { m } _ { 一 }-\ mathbf { m } _ { 二 } \ right ) \ left ( \ mathbf { m } _ { 一 }-\ mathbf { m } _ { 二 } \ right ) ^ { t } , \ mathbf { S _ { W } }=\ left ( \ mathbf { S } _ { 一 } + \ mathbf { S } _ { 二 } \ right ) $
會當證明當w滿足 $ \ mathbf { S _ { B } w }=\ lambda \ mathbf { S _ { W } w } $，即w的方向佮 $ \ mathbf { S _ { W } } ^ { 影一 } \ left ( \ mathbf { m } _ { 一 }-\ mathbf { m } _ { 二 } \ right ) $ 相仝彼時陣，_J_ (w) 取得上大的值。賰的問題就是按怎求解交易w零，也就是這个一維空間內底共兩類分開的彼个點的位。當 _J_ (w) 超過w零就判決做某一類別ω，抑無就是判決做另外一類別。毋過目前並無一个通用的選取方法。
佇兩个類別的分布是多元常態分布，而且協方差矩陣仝款的時陣，根據貝葉斯決策理論，$ \ mathbf { w }=\ mathbf { \ Sigma } ^ { 影一 } \ left ( \ mathbf { u } _ { 一 }-\ mathbf { u } _ { 二 } \ right ) $，並且w零是一个佮w佮先驗概率有關係的常數。咱會當用樣本均值佮樣本協方差去估計ui 和Σ。閣較一般來講，若是咱對投影后的數據咧行平滑，抑用一維高斯函數進行擬合，ω零就佇咧使兩類的後驗概率仝款的位置。
有足濟類的狀況
費雪線性判別佇面對二類判別時，共兩類本向一條直線佇咧投影，也就是將數據對 d 維空間向一維空間投影。按呢佇咧面對 c 因為一切的時陣，所欲做就是將數據對 d 維空間向 c 鋪一維空間投影。這就需要推廣投影方程、類間散布矩陣SB 佮類內散佈矩陣SW。對 d 維空間向 c 鋪一維空間的投影是通過 c 抹一投影方程進行的：
$ $ y _ { i }=\ mathbf { w } _ { i } ^ { t } \ mathbf { x } , \ mathbf { x } \ in { \ mathcal { D } } _ { i } \ quad i=一 , \ ldots , c 影一 $ $
遮的 $ { \ mathcal { D } } _ { i } $ 為第 i 類的樣本集。設 $ \ mathbf { y }=[y _ { 一 } , y _ { 二 } , \ ldots , y _ { c 影一 }] ^ { t } \ quad \ mathbf { W }=[w _ { 一 } , w _ { 二 } , \ ldots , w _ { c 影一 }] $，c 學一个方程會當閣較簡練的表達：
$ $ \ mathbf { y }=\ mathbf { W } ^ { t } \ mathbf { x } , \ mathbf { y } \ in { \ mathcal { Y } } _ { i } \ quad i=一 , \ ldots , c 影一 $ $
遮的 $ { \ mathcal { Y } } _ { i } $ 為第 i 類似本的投影向量集。類間散布矩陣SB 佮類內散佈矩陣SW 會當由總體散布矩陣ST 佮總體攏值向量m推導會著：$ \ mathbf { m }={ \ frac { 一 } { n } } \ sum _ { \ mathbf { x } } \ mathbf { x }={ \ frac { 一 } { n } } \ sum _ { i=一 } ^ { c } n _ { i } \ mathbf { m } _ { i } \ qquad \ mathbf { S } _ { T }=\ sum _ { \ mathbf { x } } ( \ mathbf { x }-\ mathbf { m } ) ( \ mathbf { x }-\ mathbf { m } ) ^ { t } $
$ $ { \ begin { aligned } \ mathbf { S } _ { T } &=\ sum _ { i=一 } ^ { c } \ sum _ { \ mathbf { x } \ in { \ mathcal { D } } _ { i } } ( \ mathbf { x }-\ mathbf { m } _ { i } + \ mathbf { m } _ { i }-\ mathbf { m } ) ( \ mathbf { x }-\ mathbf { m } _ { i } + \ mathbf { m } _ { i }-\ mathbf { m } ) ^ { t } \ \ &=\ sum _ { i=一 } ^ { c } \ sum _ { \ mathbf { x } \ in { \ mathcal { D } } _ { i } } ( \ mathbf { x }-\ mathbf { m } _ { i } ) ( \ mathbf { x }-\ mathbf { m } _ { i } ) ^ { t } + \ sum _ { i=一 } ^ { c } \ sum _ { \ mathbf { x } \ in { \ mathcal { D } } _ { i } } ( \ mathbf { m } _ { i }-\ mathbf { m } ) ( \ mathbf { m } _ { i }-\ mathbf { m } ) ^ { T } \ \ \ end { aligned } } $ $
定義類的散佈矩陣SB 佮類內散佈矩陣SW：
$ $ \ mathbf { S } _ { W }=\ sum _ { i=一 } ^ { c } \ sum _ { \ mathbf { x } \ in { \ mathcal { D } } _ { i } } ( \ mathbf { x }-\ mathbf { m } _ { i } ) ( \ mathbf { x }-\ mathbf { m } _ { i } ) ^ { t } \ quad \ mathbf { S _ { B } }=\ sum _ { i=一 } ^ { c } \ sum _ { \ mathbf { x } \ in { \ mathcal { D } } _ { i } } ( \ mathbf { m } _ { i }-\ mathbf { m } ) ( \ mathbf { m } _ { i }-\ mathbf { m } ) ^ { T } $ $
$ $ \ mathbf { S } _ { T }=\ mathbf { S } _ { W } + \ mathbf { S _ { B } } $ $
遐爾仔本數據的投影向量的類間散布矩陣 $ { \ widetilde { \ mathbf { S } } } _ { \ mathbf { B } } $ 佮類內散佈矩陣 $ { \ widetilde { \ mathbf { S } } } _ { \ mathbf { W } } $：即為：
$ $ { \ widetilde { \ mathbf { S } } } _ { \ mathbf { B } }=\ sum _ { i=一 } ^ { c } \ sum _ { \ mathbf { y } \ in { \ mathcal { Y } } _ { i } } ( { \ widetilde { \ mathbf { m } } } _ { i }-{ \ widetilde { \ mathbf { m } } } ) ( { \ widetilde { \ mathbf { m } } } _ { i }-{ \ widetilde { \ mathbf { m } } } ) ^ { T }=\ mathbf { W } ^ { t } \ mathbf { S _ { B } } \ mathbf { W } $ $
$ $ { \ widetilde { \ mathbf { S } } } _ { \ mathbf { W } }=\ sum _ { i=一 } ^ { c } \ sum _ { \ mathbf { y } \ in { \ mathcal { Y } } _ { i } } ( \ mathbf { y }-{ \ widetilde { \ mathbf { m } } } _ { i } ) ( \ mathbf { y }-{ \ widetilde { \ mathbf { m } } } _ { i } ) ^ { t }=\ mathbf { W } ^ { t } \ mathbf { S _ { W } } \ mathbf { W } $ $
佮兩類情形類似，欲揣著某一W予類似內散布盡量細，散布盡量大。但是遮的類內散佈佮類間散布不再是一個值，是一个矩陣。矩陣的行列式是矩陣的特徵值的乘積，也就是講數據佇咧各個主要的方向的差的積，等於是類別散布超雞卵糕體積的平方。故使用行列式來度量散布，按呢判別函數就算做 $ { \ boldsymbol { J } } ( \ mathbf { w } )={ \ frac { | { \ widetilde { \ mathbf { S } } } _ { \ mathbf { B } } | } { | { \ widetilde { \ mathbf { S } } } _ { \ mathbf { W } } | } }={ \ frac { | \ mathbf { W } ^ { t } \ mathbf { S _ { B } } \ mathbf { W } | } { | \ mathbf { W } ^ { t } \ mathbf { S _ { W } } \ mathbf { W } | } } $
會當證明，當W的列向量wi 是 $ \ mathbf { S _ { B } } \ mathbf { w } _ { i }=\ mathbf { \ lambda } _ { i } \ mathbf { S _ { W } } \ mathbf { w } _ { i } $ 的廣義特徵向量的時，有法度予 _J_ (w) 上大。因為乎SB 中 c 一秩為一抑是零的矩陣相加，而且其中干焦 c 學一个矩陣是互相獨立的。所以乎SB 的秩上濟為 c 影一。所以上濟干焦 c 學一个特徵向量是非零的。
應用
尪仔面熟別
佇咧人面捌別中，每一个人面圖像具有大量的像素點。LDA 主要用來共特徵減少到一个會當處理的數目咧進行分類。每一个新的維度攏是原先像素值的線性組合，這就構成一个模仔。按呢得著的線性組合予人叫做 Fisher faces , 通過主成分析得著的則叫做特徵面。
參考文獻
- Duda , R . O . ; Hart , P . E . ; Stork , D . H . Pattern Classification 二版。機械工業出版社 . 兩千空四 . ISBN 七刣一百一十一孵一孵三千六百八十七-X .
- Fisher , R . A . The Use of Multiple Measurements in Taxonomic Problems . Annals of Eugenics . 一千九百三十六 ,七( 二 ) : 一百七十九–一百八十八 . doi : 十席一一一一 / j . 一千四百六十九石一千八百空九石一九三六 . tb 兩千一百三十七 . x . hdl : 一石五千兩百二十七分之兩千四百四十 .