多重共線性

對線性迴歸模型

基本假設之一是自變量，

之間不存在嚴格的線性關係。如不然，則會對迴歸參數估計帶來嚴重影響。為了説明這一點，首先來計算線性迴歸模型參數的 LS 估計的均方誤差。為此。重寫線性迴歸模型的矩陣形式為

其中

服從多元正態分佈

，設計矩陣 X 是

的，且秩為 p。這時，參數

的 LS 估計為

，而回歸係數的 LS 估計為

。注意到由此獲得的 LS 估計是無偏的，於是估計

的均方誤差為

其中

是

的特徵根。顯然，如果

至少有一個特徵根非常接近於零，則

就很大，

也就不再是

的一個好的估計。由線性代數的理論知道，若矩陣

的某個特質根接近零，就意味着矩陣 X 的列向量之間存在近似線性關係。

如果存在一組不全為零的數

，使得

則稱線性迴歸模型存在完全共線性；如果還存在隨機誤差 v，滿足

，使得

則稱線性迴歸模型存在非完全共線性。

如果線性迴歸模型存在完全共線性，則迴歸係數的 LS 估計不存在，因此，在線性迴歸分析中所談的共線性主要是非完全共線性，也稱為復共線性。判斷復共線性及其嚴重程度的方法主要有特徵分析法(analysis of eigenvalue)，條件數法 (conditional numbers)和方差擴大因子法(variance inflation factor)。 ^[1] 

主要有3個方面：

（1）經濟變量相關的共同趨勢

（2）滯後變量的引入

（3）樣本資料的限制

（1）完全共線性下參數估計量不存在

（2）近似共線性下OLS估計量非有效

多重共線性使參數估計值的方差增大，1/(1-r2)為方差膨脹因子(Variance Inflation Factor, VIF)如果方差膨脹因子值越大，説明共線性越強。相反 因為，容許度是方差膨脹因子的倒數，所以，容許度越小，共線性越強。可以這樣記憶：容許度代表容許，也就是許可，如果，值越小，代表在數值上越不容許，就是越小，越不要。而共線性是一個負面指標，在分析中都是不希望它出現，將共線性和容許度聯繫在一起，容許度越小，越不要，實際情況越不好，共線性這個“壞蛋”越強。進一步，方差膨脹因子因為是容許度倒數，所以反過來。

總之就是找容易記憶的方法。

（3）參數估計量經濟含義不合理

（4）變量的顯著性檢驗失去意義，可能將重要的解釋變量排除在模型之外

（5）模型的預測功能失效。變大的方差容易使區間預測的“區間”變大，使預測失去意義。

需要注意：即使出現較高程度的多重共線性，OLS估計量仍具有線性性等良好的統計性質。但是OLS法在統計推斷上無法給出真正有用的信息。

如圖1，是對德國人口老齡化情況的分析，其中y是老齡化情況，線性迴歸的x1、x2、x3分別為人均國內生產總值、出生率、每個醫生平均負擔人口數。

判斷方法1：特徵值，存在維度為3和4的值約等於0，説明存在比較嚴重的共線性。

判斷方法2：條件索引列第3第4的值大於10，可以説明存在比較嚴重的共線性。

判斷方法3：比例方差內存在接近1的數（0.99），可以説明存在較嚴重的共線性。

（1）排除引起共線性的變量

找出引起多重共線性的解釋變量，將它排除出去，以逐步迴歸法得到最廣泛的應用。

（2）差分法

時間序列數據、線性模型：將原模型變換為差分模型。

（3）減小參數估計量的方差：嶺迴歸法（Ridge Regression）。

（4）簡單相關係數檢驗法