非線性最小二乘法

式中y是系統的輸出，x是輸入，θ是參數（它們可以是向量）。這裏的非線性是指對參數θ的非線性模型，不包括輸入輸出變量隨時間的變化關係。在估計參數時模型的形式f是已知的，經過N次實驗取得數據(x1,y1),(x2,y2)，…,(xn，yn)。估計參數的準則（或稱目標函數）選為模型的誤差平方和非線性最小二乘法就是求使Q達到極小的參數估計值孌。

由於 f的非線性，所以不能像線性最小二乘法那樣用求多元函數極值的辦法來得到參數估計值，而需要採用複雜的優化算法來求解。常用的算法有兩類，一類是搜索算法，另一類是迭代算法。

搜索算法的思路是：按一定的規則選擇若干組參數值，分別計算它們的目標函數值並比較大小；選出使目標函數值最小的參數值，同時捨棄其他的參數值；然後按規則補充新的參數值，再與原來留下的參數值進行比較，選出使目標函數達到最小的參數值。如此繼續進行，直到選不出更好的參數值為止。以不同的規則選擇參數值，即可構成不同的搜索算法。常用的方法有單純形搜索法、複合形搜索法、隨機搜索法等。

迭代算法是從參數的某一初始猜測值θ出發，然後產生一系列的參數點，如果這個參數序列收斂到使目標函數極小的參數點孌，那麼對充分大的N就可用N 作為孌。迭代算法的一般步驟是：

①　給出初始猜測值θ，並置迭代步數i=1。

②　確定一個向量v作為第i步的迭代方向。

③　用尋優的方法決定一個標量步長ρ

④　檢查停機規則是否滿足，如果不滿足,則將i加1再從②開始重複；如果滿足，則取θ為值。

典型的迭代算法有牛頓－拉夫森法、高斯迭代算法、麥夸特算法、變尺度法等。

非線性最小二乘法除可直接用於估計靜態非線性模型的參數外，在時間序列建模、連續動態模型的參數估計中，也往往遇到求解非線性最小二乘問題。