簡單線性迴歸

給定一個隨機樣本，一個線性迴歸模型假設迴歸子Yi和迴歸量之間的關係可能是不完美的。我們加入一個誤差項（也是一個隨機變量）來捕獲除了之外任何對Yi的影響。所以一個多變量線性迴歸模型表示為以下的形式：

其他的模型可能被認定成非線性模型。一個線性迴歸模型不需要是自變量的線性函數。線性在這裏表示Yi的條件均值在參數β裏是線性的。例如：模型在β1和β2裏是線性的，但在裏是非線性的，它是Xi的非線性函數。

區分隨機變量和這些變量的觀測值是很重要的。通常來説，觀測值或數據（以小寫字母表記）包括了n個值 .我們有p + 1個參數需要決定，為了估計這些參數，使用矩陣表記是很有用的。其中Y是一個包括了觀測值的列向量，包括了未觀測的隨機成份以及迴歸量的觀測值矩陣X：X通常包括一個常數項。如果X列之間存在線性相關，那麼參數向量β就不能以最小二乘法估計除非β被限制，比如要求它的一些元素之和為0。

樣本是在總體之中隨機抽取出來的。因變量在實直線上是連續的，殘差項是獨立同分布的，也就是説，殘差是i.i.d.且服從高斯分佈。這些假設意味着殘差項不依賴自變量的值，所以和自變量（預測變量）之間是相互獨立的。在這些假設下，建立一個顯示線性迴歸作為條件預期模型的簡單線性迴歸。

迴歸分析的最初目的是估計模型的參數以便達到對數據的最佳擬合。在決定一個最佳擬合的不同標準之中，最小二乘法是非常優越的。