多元迴歸分析

通常影響因變量的因素有多個，這種多個自變量影響一個因變量的問題可以通過多元迴歸分析來解決。例如，經濟學知識告訴我們，商品需求量Q除了與商品價格P有關外，還受到替代品的價格、互補品的價格，和消費者收入等因素，甚至還包括商品品牌Brand這一品質變量（品質變量不能用數字來衡量，需要在模型中引入虛擬變量）的影響。多元迴歸分析應用的範圍更加廣泛。由於線性迴歸分析比較簡單和普遍，下面首先介紹多元線性迴歸，在線性分析基礎上，逐步引入虛擬變量回歸和一類能夠變換成線性迴歸的曲線迴歸模型 ^[1]  。

設因變量為Y，影響因變量的k個自變量分別為

，假設每一個自變量對因變量Y的影響都是線性的，也就是説，在其他自變量不變的情況下，Y的均值隨着自變量

的變化均勻變化，這時我們把

稱為總體迴歸模型，把

稱為迴歸參數。迴歸分析的基本任務是：

任務1：利用樣本數據對模型參數作出估計。

任務2：對模型參數進行假設檢驗。

任務3：應用迴歸模型對因變量（被解釋變量）作出預測。

為了保證多元迴歸分析的參數估計、統計檢驗以及置信區間估計的有效性，與一元線性迴歸分析類似，我們需要對總體迴歸模型及數據作一些基本假定。

假定1：隨機誤差項

的概率分佈具有零均值，即

。

假定2：隨機誤差項

的概率分佈對於不同的自變量表現值而言，具有同方差。即

的方差不隨着

的變化而變化，

。

假定2：隨機誤差項

的概率分佈對於不同的自變量表現值而言，具有同方方差不隨着

的變化而變化，

。

假定3：隨機誤差項

不存在自相關，即

。

假定4：

與任一解釋變量

不相關，可以表示為

。

假定5：解釋變量X之間不存在完全共線性。

以上假定1~4與一元迴歸分析的假定是相同的。假定5 是針對解釋變量而言，在一元迴歸分析中，由於只有一個解釋變量，因此這一點是不需要的。在模型和數據滿足上述假定時，對式（1）兩邊取期望，可得到：

式（2）稱為總體迴歸方程（Population Regression Equation，PRE ）或總體迴歸函數（Population Regression Function，PRF），

表示在給定自變量

的條件下觀察值Y的條件均值。在實際問題中，總體參數

往往是未知的，我們需要根據樣本觀察值給出總體參數的相應的估計值

，此時，

稱為樣本回歸方程（Sample Regression Equation，SRE） 或樣本回歸函數（Sample RegressionFunction，SRF），

也就是

的點估計值。

對於多元迴歸方程，在模型和數據滿足前文所述的基本假定的前提下，參數估計可以通過最小二乘估計來得到，同樣假設

即

根據高等數學知識，Q分別對

對求偏導數，令其等於0，得到

求解式（5）中的方程組，即可得到參數的估計值

。由於手工計算比較繁瑣，而現在的統計軟件都提供了迴歸分析工具，尤其Excel中的迴歸分析工具相當簡單。

前面介紹的迴歸分析中的自變量和因變量都是數值型變量，如果在迴歸分析中引入虛擬變量（分類變量），則會使模型的應用範圍迅速擴大。在自變量中引入虛擬變量本身並不影響迴歸模型的基本假定，因為經典迴歸分析是在給定自變量X的條件下被解釋變量Y的隨機分佈。但是如果因變量為分類變量，則會改變經典迴歸分析的基本假定，一般在計量經濟學教材中有比較深入的介紹，如Logistics迴歸等。

當虛擬變量的引入形式隻影響迴歸方程的截距，我們稱為加法模型。引入虛擬變量的另外一種形式是乘法模型，這時引入虛擬變量後並不影響模型的截距，而是影響了斜率。當然，在模型設定時也可能同時引入加法和乘法，同時改變模型的截距和斜率。

前面我們在模型中都假定Y和

之間是線性關係，從廣義的線性角度來講，下面所講的曲線模型是通過變量替換而轉化成線性的模型。表1列出了常用的可以通過變量替換而轉化成線性的曲線模型 ^[1]  。