萊文伯格-馬夸特方法

萊文伯格-馬夸特方法（英語：Levenberg–Marquardt algorithm）會當提供數非線性上小化（局部上細）的數值解。若這个演算法會當藉著執行的時修改參數達到結合高斯-牛頓算法佮梯度下降法的優點，對兩个人無夠做改善（比如講高斯-牛頓算法反矩陣無存在抑是初初值離局部真細值傷遠）。

問題是咧講

準講 $ f $ 是一个對 $ \ Re ^ { m } \ rightarrow \ Re ^ { n } $ 的非線性映射，也就是講 $ \ mathbf { P } \ in \ Re ^ { m } $ 而且 $ \ mathbf { X } \ in \ Re ^ { n } $ , 遐爾 :

$ $ f ( \ mathbf { P } )=\ mathbf { X } $ $

啊若咱的目的就是向望任意予定一个 $ \ mathbf { x } $ 猶閣有合理的初始值 $ \ mathbf { p } _ { 零 } $，咱會當揣著一个 $ \ mathbf { p } ^ { + } $，予得 $ \ mathbf { \ epsilon } ^ { T } \ mathbf { \ epsilon } $ 盡量細間（局部真細）， 其中 $ \ mathbf { \ epsilon }=f ( \ mathbf { p } ^ { + } )-\ mathbf { x } $。

解法

親像大多數上小化的方法仝款，這是一个迵天代的方法。頭先根據泰勒展開式咱會當共 $ f ( \ mathbf { p } + \ mathbf { \ delta _ { p } } ) $ 寫為下跤的近來的像，這有兩个好處：第一是線性、第二是干焦需要一坎微分。

> > > $ $ > f ( \ mathbf { p } + \ mathbf { \ delta _ { p } } ) \ approx f ( \ mathbf { p } ) + \ mathbf { J \ delta _ { p } } > $ $ > >

其中 $ \ mathbf { J } $ 是 $ f $ 的雅可比矩陣。著迵天咱現代咱遮爾做：假使講這改 iteration 的點是 $ \ mathbf { p } _ { k } $，阮愛揣著一个 $ \ mathbf { \ delta } _ { \ mathbf { p } , k } $ 予 $ | \ mathbf { x }-f ( \ mathbf { p } _ { k } + \ mathbf { \ delta } _ { \ mathbf { p } , k } ) | \ approx | \ mathbf { x }-f ( \ mathbf { p } _ { k } )-\ mathbf { J \ mathbf { \ delta } _ { \ mathbf { p } , k } } |=| \ mathbf { \ epsilon } _ { k }-\ mathbf { J \ mathbf { \ delta } _ { \ mathbf { p } , k } } | $ 上細漢。 根據投影公式咱知影當下跤式子被滿足的時陣會當有上細的精差：

> > > $ $ > ( \ mathbf { J } ^ { T } \ mathbf { J } ) \ mathbf { \ delta _ { \ mathbf { p } , k } }=\ mathbf { J } ^ { T } \ mathbf { \ epsilon } _ { k } > $ $ > >

阮共這个公式略加修改會著：

> > > $ $ > [\ mu \ mathbf { I } + ( \ mathbf { J } ^ { T } \ mathbf { J } )] \ mathbf { \ delta _ { \ mathbf { p } , k } }=\ mathbf { J } ^ { T } \ mathbf { \ epsilon } _ { k } > $ $ > >

就是萊文伯格-馬夸特方法。按呢喔一來 $ \ mu $ 大的時陣這種算法會接近最速下降法，細漢的時陣會接近高斯-牛頓方法。為著確保逐改 $ \ mathbf { \ epsilon } $ 長度減少，咱按呢遮爾作：先採用一个細的 $ \ mu $，若是 $ \ mathbf { \ epsilon } $ 長度變大就增加 $ \ mu $。

這个演算法當做以下某寡條件達到現結束迵天代：

一 . 若發現講 $ \ mathbf { \ epsilon } $ 長度變化小於特定的予定值就結束。 二 . 發現 $ \ mathbf { \ delta _ { p } } $ 變化小於特定的共定值就結束。 三 . 到迵天代的上限設定就結束。