-
最小二乘法
鎖定
- 中文名
- 最小二乘法 [2]
- 外文名
- ordinary least squares [2]
- 別 名
- 最小平方法 [1]
- 提出者
- 馬裏·勒讓德 [2]
最小二乘法歷史
1801年,意大利天文學家朱賽普·皮亞齊發現了第一顆小行星穀神星。經過40天的跟蹤觀測後,由於穀神星運行至太陽背後,使得皮亞齊失去了穀神星的位置。隨後全世界的科學家利用皮亞齊的觀測數據開始尋找穀神星,但是根據大多數人計算的結果來尋找穀神星都沒有結果。只有時年24歲的高斯所計算的穀神星的軌道,被奧地利天文學家海因裏希·奧爾伯斯的觀測所證實,使天文界從此可以預測到穀神星的精確位置。同樣的方法也產生了哈雷彗星等很多天文學成果。高斯使用的方法就是最小二乘法,該方法發表於1809年他的著作《天體運動論》中
[2]
[4]
。其實法國科學家勒讓德於1806年獨立發明“最小二乘法”,但因不為世人所知而默默無聞
[2]
。
最小二乘法定義
最小二乘法(又稱最小平方法)是一種數學優化技術。它通過最小化誤差的平方和尋找數據的最佳函數匹配。利用最小二乘法可以簡便地求得未知的數據,並使得這些求得的數據與實際數據之間誤差的平方和為最小
[1]
[6-7]
。
最小二乘法還可用於曲線擬合,其他一些優化問題也可通過最小化能量或最大化熵用最小二乘法來表達
[3]
。
最小二乘法基本思路
最小二乘法基本原理
為了尋找函數
的參數
的最優估計值,對於給定
組(通常
)觀測數據
,求解目標函數
最小二乘法最小二乘優化問題
最小二乘法最小二乘估計量的特性
根據樣本數據,採用最小二乘估計式可以得到簡單線性迴歸模型參數的估計量。但是估計量參數與總體真實參數的接近程度如何,是否存在更好的其它估計式,這就涉及到最小二乘估計式或估計量的最小方差(或最佳)(Best)性、線性(Linear)及無偏( Unbiased)性,簡稱為BLU特性。這就是廣泛應用普通最小二乘法估計經濟計量模型的主要原因。下面證明普通最小二乘估計量具有上述三特性
[10]
。
1、線性特性
2、無偏性
3、最小方差性
所謂最小方差性,是指估計量與用其它方法求得的估計量比較,其方差最小,即最佳。最小方差性又稱有效性。這一性質就是著名的高斯一馬爾可夫( Gauss-Markov)定理。這個定理闡明瞭普通最小二乘估計量與用其它方法求得的任何線性無偏估計量相比,它是最佳的
[10]
。
- 參考資料
-
- 1. 曹連江著,電子信息測量及其誤差分析校正的研究,東北師範大學出版社,2017.09,第260頁
- 2. 陳麗燕主編,統計學,中國統計出版社,2015.02,第128頁
- 3. 喬世坤,Matlab在通信課程中的仿真應用,東北林業大學出版社,2017.03,第52頁
- 4. 方妍主編,在行動中理解科學 清華附中校本課程“走進實驗室”紀實,上海科學技術出版社,2017.03,第100頁
- 5. 高國偉編,不可不知的1000個財經常識 經濟版 暢銷6版,中國法制出版社,2016.04,第55頁
- 6. 肖文博主編,統計信息化 Excel與SPSS應用,北京理工大學出版社,2017.01,第160頁
- 7. 侯洪鳳,王璨,曾維佳,管理信息系統基礎,中國鐵道出版社,2018.06,第14頁
- 8. 陳雄達編,數學實驗 下,同濟大學出版社,2018.03,第45頁
- 9. 梁禮明主編,優化方法導論,北京理工大學出版社,2017.09,第150頁
- 10. 林祥都編著,經濟計量學 理論與方法,西安電子科技大學出版社,1993.09,第24頁
- 11. 最小二乘法 .911查詢[引用日期2021-07-06]
- 12. 華國邑.推廣的最小二乘法辨識及比較[J].科學技術創新,2023(4):14-17
- 收起