最小二乘法

1801年，意大利天文學家朱賽普·皮亞齊發現了第一顆小行星穀神星。經過40天的跟蹤觀測後，由於穀神星運行至太陽背後，使得皮亞齊失去了穀神星的位置。隨後全世界的科學家利用皮亞齊的觀測數據開始尋找穀神星，但是根據大多數人計算的結果來尋找穀神星都沒有結果。只有時年24歲的高斯所計算的穀神星的軌道，被奧地利天文學家海因裏希·奧爾伯斯的觀測所證實，使天文界從此可以預測到穀神星的精確位置。同樣的方法也產生了哈雷彗星等很多天文學成果。高斯使用的方法就是最小二乘法，該方法發表於1809年他的著作《天體運動論》中 ^{[2]  [4]}  。其實法國科學家勒讓德於1806年獨立發明“最小二乘法”，但因不為世人所知而默默無聞 ^[2]  。

1829年，高斯提供了最小二乘法的優化效果強於其他方法的證明 ^[5]  。

最小二乘法（又稱最小平方法）是一種數學優化技術。它通過最小化誤差的平方和尋找數據的最佳函數匹配。利用最小二乘法可以簡便地求得未知的數據，並使得這些求得的數據與實際數據之間誤差的平方和為最小 ^{[1]  [6-7]}  。

最小二乘法還可用於曲線擬合，其他一些優化問題也可通過最小化能量或最大化熵用最小二乘法來表達 ^[3]  。

最小二乘法因其原理簡單、收斂速度較快、易於理解和實現而被廣泛應用於參數估計中。 ^[12] 

最小二乘法是解決曲線擬合問題最常用的方法。其基本思路是：令 ^[8] 

其中，

是事先選定的一組線性無關的函數，

是待定係數

，擬合準則是使

與

的距離

的平方和最小，稱為最小二乘準則 ^[8]  。

設(x,y)是一對觀測量，且

滿足以下的理論函數 ^[9]  ：

其中

為待定參數 ^[9]  。

為了尋找函數

的參數

的最優估計值，對於給定

組（通常

）觀測數據

，求解目標函數

取最小值的參數

。求解的這類問題稱為最小二乘問題，求解該問題的方法的幾何語言稱為最小二乘擬合 ^[9]  。

對於無約束最優化問題，最小二乘法的一般形式為 ^[9]  ：

其中

稱為殘差函數。當

是

的線性函數時，稱為線性最小二乘問題，否則稱為非線性最小二乘問題 ^[9]  。

在無約束最優化問題中，有些重要的特殊情形，比如目標函數由若干個函數的平方和構成，這類函數一般可以寫成 ^[8]  ：

其中

，通常要求m≥n，我們把極小化這類函數的問題 ^[8]  ：

稱為最小二乘優化問題。最小二乘優化是一類比較特殊的優化問題 ^[8]  。

根據樣本數據，採用最小二乘估計式可以得到簡單線性迴歸模型參數的估計量。但是估計量參數與總體真實參數的接近程度如何，是否存在更好的其它估計式，這就涉及到最小二乘估計式或估計量的最小方差（或最佳）（Best）性、線性（Linear）及無偏（ Unbiased）性，簡稱為BLU特性。這就是廣泛應用普通最小二乘法估計經濟計量模型的主要原因。下面證明普通最小二乘估計量具有上述三特性 ^[10]  。

1、線性特性

所謂線性特性，是指估計量分別是樣本觀測值的線性函數，亦即估計量和觀測值的線性組合 ^[10]  。

2、無偏性

無偏性，是指參數估計量的期望值分別等於總體真實參數 ^[10]  。

3、最小方差性

所謂最小方差性，是指估計量與用其它方法求得的估計量比較，其方差最小，即最佳。最小方差性又稱有效性。這一性質就是著名的高斯一馬爾可夫（ Gauss-Markov）定理。這個定理闡明瞭普通最小二乘估計量與用其它方法求得的任何線性無偏估計量相比，它是最佳的 ^[10]  。