-
嶺迴歸
鎖定
- 中文名
- 嶺迴歸
- 外文名
- ridge regression,Tikhonov regularization
- 別 名
- 脊迴歸
- 提出者
- Andrey Tikhonov
- 適用領域
- 統計學
- 應用學科
- 數據分析, 機器學習, 統計學習
嶺迴歸簡介
嶺迴歸,又稱脊迴歸、吉洪諾夫正則化(Tikhonov regularization),是對不適定問題(ill-posed problem)進行迴歸分析時最經常使用的一種正則化方法。
[1]
嶺迴歸原理
對於有些矩陣,矩陣中某個元素的一個很小的變動,會引起最後計算結果誤差很大,這種矩陣稱為“病態矩陣”。有些時候不正確的計算方法也會使一個正常的矩陣在運算中表現出病態。對於高斯消去法來説,如果主元(即對角線上的元素)上的元素很小,在計算時就會表現出病態的特徵。
迴歸分析中常用的最小二乘法是一種無偏估計。對於一個適定問題,X通常是列滿秩的
上述優化問題可以採用梯度下降法進行求解,也可以採用如下公式進行直接求解
為了解決上述問題,我們需要將不適定問題轉化為適定問題:我們為上述損失函數加上一個正則化項,變為
隨着
的增大,
各元素
的絕對值均趨於不斷變小,它們相對於正確值
的偏差也越來越大。
趨於無窮大時,
趨於0。其中,
隨
的改變而變化的軌跡,就稱為嶺跡。實際計算中可選非常多的
值,做出一個嶺跡圖,看看這個圖在取哪個值的時候變穩定了,那就確定
值了。