殘差

設線性迴歸模型為

其中Y是由相應變量構成的n維向量，X是

階設計矩陣，β是p+1維向量，ε是n維隨機變量。

迴歸係數的估計值

，擬合值

為

，其中

，稱H為帽子矩陣。殘差為

。

這解釋了帽子矩陣與殘差的關係，因為殘差可以通過帽子矩陣與真實值得出。

由差向量ε的的性質，得到

。因此，對每個

，有

，其中

是矩陣H對角線上的元素。

用

作為

的估計值，稱

為標準化殘差，或者稱為內學生化殘差。這因為

的估計中用了包括第i個樣本在內的全部數據。由

可知，標準化殘差

近似服從標準正態分佈。

若記刪除第i個樣本數據後，由余下的n-1個樣本數據求得的迴歸係數為

，做

的估計值，有

，其中

為設計矩陣X的第j行。稱

為學生化殘差，或者稱為外學生化殘差。 ^[1] 

在迴歸分析中，測定值與按迴歸方程預測的值之差，以δ表示。殘差δ遵從正態分佈N(0，σ2)。（δ-殘差的均值）/殘差的標準差，稱為標準化殘差，以δ*表示。δ*遵從標準正態分佈N(0，1)。實驗點的標準化殘差落在(-2，2)區間以外的概率≤0.05。若某一實驗點的標準化殘差落在(-2，2)區間以外，可在95%置信度將其判為異常實驗點，不參與迴歸直線擬合。

顯然，有多少對數據，就有多少個殘差。殘差分析就是通過殘差所提供的信息，分析出數據的可靠性、週期性或其它干擾。

為了更深入地研究某一自變量與因變量的關係，人們還引進了偏殘差。此外， 還有學生化殘差、預測殘差等。以某種殘差為縱座標，其它變量為橫座標作散點圖，即殘差圖 ，它是殘差分析的重要方法之一。通常橫座標的選擇有三種：

(1) 因變量的擬合值；

(2)自變量；

(3)當因變量的觀測值為一時間序列時，橫座標可取觀測時間或觀測序號。

殘差圖的分佈趨勢可以幫助判明所擬合的線性模型是否滿足有關假設。如殘差是否近似正態分佈、是否方差齊次，變量間是否有其它非線性關係及是否還有重要自變量未進入模型等。.當判明有某種假設條件欠缺時， 進一步的問題就是加以校正或補救。需分析具體情況，探索合適的校正方案，如非線性處理，引入新自變量，或考察誤差是否有自相關性。