多元線性迴歸分析預測法

一元線性迴歸是一個主要影響因素作為自變量來解釋因變量的變化，在現實問題研究中，因變量的變化往往受幾個重要因素的影響，此時就需要用兩個或兩個以上的影響因素作為自變量來解釋因變量的變化，這就是多元迴歸亦稱多重回歸。當多個自變量與因變量之間是線性關係時，所進行的迴歸分析就是多元線性迴歸。

設y為因變量，

為自變量，並且自變量與因變量之間為線性關係時，則多元線性迴歸模型為：

其中，b₀為常數項，

為迴歸係數，b₁為

固定時，x₁每增加一個單位對y的效應，即x₁對y的偏回歸係數；同理b₂為x₁,x_k固定時，x₂每增加一個單位對y的效應，即，x₂對y的偏回歸係數，等等。如果兩個自變量x₁,x₂同一個因變量y呈線相關時，可用二元線性迴歸模型描述為：y=b₀+b₁x₁+b₂x₂+e。

建立多元性迴歸模型時，為了保證迴歸模型具有優良的解釋能力和預測效果，應首先注意自變量的選擇，其準則是：

(1)自變量對因變量必須有顯著的影響，並呈密切的線性相關；

(2)自變量與因變量之間的線性相關必須是真實的，而不是形式上的；

(3)自變量之間應具有一定的互斥性，即自變量之間的相關程度不應高於自變量與因變量之因的相關程度；

(4)自變量應具有完整的統計數據，其預測值容易確定。

多元性迴歸模型的參數估計，同一元線性迴歸方程一樣，也是在要求誤差平方和()為最小的前提下，用最小二乘法求解參數。以二線性迴歸模型為例，求解迴歸參數的標準方程組為：

解此方程可求得b₀,b₁,b₂的數值。亦可用下列矩陣法求得

即

多元性迴歸模型與一元線性迴歸模型一樣，在得到參數的最小二乘法的估計值之後，也需要進行必要的檢驗與評價，以決定模型是否可以應用。

1.擬合程度的測定。

與一元線性迴歸中可決係數r²相對應，多元線性迴歸中也有多重可決係數r²，它是在因變量的總變化中，由迴歸方程解釋的變動(迴歸平方和)所佔的比重，R²越大，迴歸方各對樣本數據點擬合的程度越強，所有自變量與因變量的關係越密切。計算公式為：

其中

2.估計標準誤差

估計標準誤差，即因變量y的實際值與迴歸方程求出的估計值之間的標準誤差，估計標準誤差越小，迴歸方程擬合程度越程。

其中，k為多元線性迴歸方程中的自變量的個數。

3.迴歸方程的顯著性檢驗

迴歸方程的顯著性檢驗，即檢驗整個迴歸方程的顯著性，或者説評價所有自變量與因變量的線性關係是否密切。能常採用F檢驗，F統計量的計算公式為：

根據給定的顯著水平a,自由度(k,n-k-1)查F分佈表，得到相應的臨界值F_a，若F>F_a，則迴歸方程具有顯著意義，迴歸效果顯著；F<F_a，則迴歸方程無顯著意義，迴歸效果不顯著。

4.迴歸係數的顯著性檢驗

在一元線性迴歸中，迴歸係數顯著性檢驗(t檢驗)與迴歸方程的顯著性檢驗(F檢驗)是等價的，但在多元線性迴歸中，這個等價不成立。t檢驗是分別檢驗迴歸模型中各個迴歸係數是否具有顯著性，以便使模型中只保留那些對因變量有顯著影響的因素。檢驗時先計算統計量t_i；然後根據給定的顯著水平a,自由度n-k-1查t分佈表，得臨界值t_a或t_{a/ 2},t>t−a或t_{a/ 2}，則迴歸係數b_i與0有顯著關異，反之，則與0無顯著差異。統計量t的計算公式為：

其中，C_ij是多元線性迴歸方程中求解迴歸係數矩陣的逆矩陣(x'x)的主對角線上的第j個元素。對二元線性迴歸而言，可用下列公式計算：

其中

5.多重共線性判別

若某個迴歸係數的t檢驗通不過，可能是這個係數相對應的自變量對因變量的影平不顯著所致，此時，應從迴歸模型中剔除這個自變量，重新建立更為簡單的迴歸模型或更換自變量。也可能是自變量之間有共線性所致，此時應設法降低共線性的影響。

多重共線性是指在多元線性迴歸方程中，自變量之間有較強的線性關係，這種關係若超過了因變量與自變量的線性關係，則迴歸模型的穩定性受到破壞，迴歸係數估計不準確。需要指出的是，在多元迴歸模型中，多重共線性的難以避免的，只要多重共線性不太嚴重就行了。判別多元線性迴歸方程是否存在嚴懲的多重共線性，可分別計算每兩個自變量之間的可決係數r，若r²>R²或接近於R₂，則應設法降低多重線性的影響。亦可計算自變量間的相關係數矩陣的特徵值的條件數k= λ₁/ λ_p(λ₁為最大特徵值，λ_p為最小特徵值),k<100，則不存在多重點共線性；若100≤k≤1000，則自變量間存在較強的多重共線性，若k>1000，則自變量間存在嚴重的多重共線性。降低多重共線性的辦法主要是轉換自變量的取值，如變絕對數為相對數或平均數，或者更換其他的自變量。

6.D.W檢驗

當迴歸模型是根據動態數據建立的，則誤差項e也是一個時間序列，若誤差序列諸項之間相互獨立，則誤差序列各項之間沒有相關關係，若誤差序列之間存在密切的相關關係，則建立的迴歸模型就不能表述自變量與因變量之間的真實變動關係。D.W檢驗就是誤差序列的自相關檢驗。檢驗的方法與一元線性迴歸相同。 ^[1-2]