複製鏈接
請複製以下鏈接發送給好友

嶺迴歸

鎖定
嶺迴歸(英文名:ridge regression, Tikhonov regularization)是一種專用於共線性數據分析的有偏估計迴歸方法,實質上是一種改良的最小二乘估計法,通過放棄最小二乘法的無偏性,以損失部分信息、降低精度為代價獲得迴歸係數更為符合實際、更可靠的迴歸方法,對病態數據的擬合要強於最小二乘法
中文名
嶺迴歸
外文名
ridge regression,Tikhonov regularization
別    名
脊迴歸
提出者
Andrey Tikhonov
適用領域
統計學
應用學科
數據分析, 機器學習, 統計學習

目錄

嶺迴歸簡介

嶺迴歸,又稱脊迴歸、吉洪諾夫正則化(Tikhonov regularization),是對不適定問題(ill-posed problem)進行迴歸分析時最經常使用的一種正則化方法。 [1] 

嶺迴歸原理

對於有些矩陣,矩陣中某個元素的一個很小的變動,會引起最後計算結果誤差很大,這種矩陣稱為“病態矩陣”。有些時候不正確的計算方法也會使一個正常的矩陣在運算中表現出病態。對於高斯消去法來説,如果主元(即對角線上的元素)上的元素很小,在計算時就會表現出病態的特徵。
迴歸分析中常用的最小二乘法是一種無偏估計。對於一個適定問題,X通常是列滿秩的
採用最小二乘法,定義損失函數為殘差的平方,最小化損失函數
上述優化問題可以採用梯度下降法進行求解,也可以採用如下公式進行直接求解
當X不是列滿秩時,或者某些列之間的線性相關性比較大時,
的行列式接近於0,即
接近於奇異,上述問題變為一個不適定問題,此時,計算
時誤差會很大,傳統的最小二乘法缺乏穩定性與可靠性。
為了解決上述問題,我們需要將不適定問題轉化為適定問題:我們為上述損失函數加上一個正則化項,變為
其中,我們定義
,於是:
上式中,
是單位矩陣。
隨着
的增大,
各元素
的絕對值均趨於不斷變小,它們相對於正確值
的偏差也越來越大。
趨於無窮大時,
趨於0。其中,
的改變而變化的軌跡,就稱為嶺跡。實際計算中可選非常多的
值,做出一個嶺跡圖,看看這個圖在取哪個值的時候變穩定了,那就確定
值了。
嶺迴歸是對最小二乘迴歸的一種補充,它損失了無偏性,來換取高的數值穩定性,從而得到較高的計算精度。 [2] 

嶺迴歸特點

通常嶺迴歸方程的R平方值會稍低於普通迴歸分析,但迴歸係數的顯著性往往明顯高於普通迴歸,在存在共線性問題和病態數據偏多的研究中有較大的實用價值。 [3] 
參考資料
  • 1.    田俊. 嶺迴歸分析的SAS程序設計[J]. 數理統計與管理,1999,(03):54-56+52.
  • 2.    郭鵬妮. 嶺迴歸與分位數迴歸的研究及結合應用[D].哈爾濱工業大學,2014.
  • 3.    朱尚偉,李景華. 嶺迴歸參數的兩個預期約束[J]. 統計與決策,2015,(22):71-74.