多元線性迴歸

社會經濟現象的變化往往受到多個因素的影響，因此，一般要進行多元迴歸分析，我們把包括兩個或兩個以上自變量的迴歸稱為多元線性迴歸 ^[1]  。

多元線性迴歸的基本原理和基本計算過程與一元線性迴歸相同，但由於自變量個數多，計算相當麻煩，一般在實際中應用時都要藉助統計軟件。這裏只介紹多元線性迴歸的一些基本問題。

但由於各個自變量的單位可能不一樣，比如説一個消費水平的關係式中，工資水平、受教育程度、職業、地區、家庭負擔等等因素都會影響到消費水平，而這些影響因素（自變量）的單位顯然是不同的，因此自變量前係數的大小並不能説明該因素的重要程度，更簡單地來説，同樣工資收入，如果用元為單位就比用百元為單位所得的迴歸係數要小，但是工資水平對消費的影響程度並沒有變，所以得想辦法將各個自變量化到統一的單位上來。前面學到的標準分就有這個功能，具體到這裏來説，就是將所有變量包括因變量都先轉化為標準分，再進行線性迴歸，此時得到的迴歸係數就能反映對應自變量的重要程度。這時的迴歸方程稱為標準迴歸方程，迴歸係數稱為標準迴歸係數，表示如下：

由於都化成了標準分，所以就不再有常數項 a 了，因為各自變量都取平均水平時，因變量也應該取平均水平，而平均水平正好對應標準分 0 ，當等式兩端的變量都取 0 時，常數項也就為 0 了。

多元線性迴歸與一元線性迴歸類似，可以用最小二乘法估計模型參數，也需對模型及模型參數進行統計檢驗 ^[2]  。

選擇合適的自變量是正確進行多元迴歸預測的前提之一，多元迴歸模型自變量的選擇可以利用變量之間的相關矩陣來解決。

——多元線性迴歸模型

1.建立模型

以二元線性迴歸模型為例 ，二元線性迴歸模型如下：

類似的使用最小二乘法進行參數估計 ^[3]  ：

2.擬合優度指標

標準誤差：對y值與模型估計值之間的離差的一種度量。其計算公式為：

3.置信範圍

置信區間的公式為：置信區間=

其中，

是自由度為

的

統計量數值表中的數值,

是觀察值的個數，

是包括因變量在內的變量的個數。

1.普通最小二乘法

普通最小二乘法(Ordinary Least Square, OLS)通過最小化誤差的平方和尋找最佳函數。通過矩陣運算求解係數矩陣：

2.廣義最小二乘法

廣義最小二乘法(Generalized Least Square)是普通最小二乘法的拓展，它允許在誤差項存在異方差或自相關，或二者皆有時獲得有效的係數估計值。公式如右，

其中，Ω是殘差項的協方差矩陣。

SPSS（Statistical Package for the Social Science）－－社會科學統計軟件包是世界著名的統計分析軟件之一。20世紀60年代末，美國斯坦福大學的三位研究生研製開發了最早的統計分析軟件SPSS，同時成立了SPSS公司，並於1975年在芝加哥組建了SPSS總部。20世紀80年代以前，SPSS統計軟件主要應用於企事業單位。1984年SPSS總部首先推出了世界第一個統計分析軟件微機版本SPSS/PC+，開創了SPSS微機系列產品的開發方向，從而確立了個人用户市場第一的地位。同時SPSS公司推行本土化策略，已推出9個語種版本。SPSS/PC+的推出，極大地擴充了它的應用範圍，使其能很快地應用於自然科學、技術科學、社會科學的各個領域，世界上許多有影響的報刊雜誌紛紛就SPSS的自動統計繪圖、數據的深入分析、使用方便、功能齊全等方面給予了高度的評價與稱讚。已經在國內逐漸流行起來。它使用Windows的窗口方式展示各種管理和分析數據方法的功能，使用對話框展示出各種功能選擇項，只要掌握一定的Windows操作技能，粗通統計分析原理，就可以使用該軟件為特定的科研工作服務。

SPSS for Windows是一個組合式軟件包，它集數據整理、分析功能於一身。用户可以根據實際需要和計算機的功能選擇模塊，以降低對系統硬盤容量的要求，有利於該軟件的推廣應用。SPSS的基本功能包括數據管理、統計分析、圖表分析、輸出管理等等。SPSS統計分析過程包括描述性統計、均值比較、一般線性模型、相關分析、迴歸分析、對數線性模型、聚類分析、數據簡化、生存分析、時間序列分析、多重響應等幾大類，每類中又分好幾個統計過程，比如迴歸分析中又分線性迴歸分析、曲線估計、Logistic迴歸、Probit迴歸、加權估計、兩階段最小二乘法、非線性迴歸等多個統計過程，而且每個過程中又允許用户選擇不同的方法及參數。SPSS也有專門的繪圖系統，可以根據數據繪製各種圖形。

SPSS for Windows的分析結果清晰、直觀、易學易用，而且可以直接讀取EXCEL及DBF數據文件，現已推廣到多種各種操作系統的計算機上，它和SAS、BMDP並稱為國際上最有影響的三大統計軟件。和國際上幾種統計分析軟件比較，它的優越性更加突出。在眾多用户對國際常用統計軟件SAS、BMDP、GLIM、GENSTAT、EPILOG、MiniTab的總體印象分的統計中，其諸項功能均獲得最高分 。在國際學術界有條不成文的規定，即在國際學術交流中，凡是用SPSS軟件完成的計算和統計分析，可以不必説明算法，由此可見其影響之大和信譽之高。最新的14.0版採用DAA（Distributed AnalysisArchitechture，分佈式分析系統），全面適應互聯網，支持動態收集、分析數據和HTML格式報告，依靠於諸多競爭對手。但是它很難與一般辦公軟件如Office或是WPS2000直接兼容，在撰寫調查報告時往往要用電子表格軟件及專業製圖軟件來重新繪製相關圖表，已經遭到諸多統計學人士的批評；而且SPSS作為三大綜合性統計軟件之一，其統計分析功能與另外兩個軟件即SAS和BMDP相比仍有一定欠缺。

雖然如此，SPSS for Windows由於其操作簡單，已經在我國的社會科學、自然科學的各個領域發揮了巨大作用。該軟件還可以應用於經濟學、生物學、心理學、醫療衞生、體育、農業、林業、商業、金融等各個領域。

Matlab、spss、SAS等軟件都是進行多元線性迴歸的常用軟件。