極大似然法

設總體X是離散型隨機變量，其概率函數為p(x, θ)，其中θ是未知參數。設X₁,X₂,…,Xn為取自總體X的樣本，則可求出X₁,X₂,…,Xn的聯合概率函數。如果樣本取值x₁,x₂,...,x_n，則事件(X₁₌x₁,X₂₌x₂,…,X_n=x_n)發生的概率是為可求，這一概率值隨θ的值的變化而變化，從直觀上來看，既然樣本值x₁,x₂,...,x_n已經出現，它們出現的概率相對來説應比較大，應使其概率取比較大的值。極大似然法就是在參數θ的可能取值範圍內，選取使L(θ)達到最大的參數值θ，作為參數θ的估計值。即取θ，使得L(θ)=L(x₁,x₂,...,x_n; θ)=max(x₁,x₂,...,x_n; θ)。 ^[1] 

因此，求參數θ的極大似然估計值得問題就是求似然函數L(θ)最大值問題。通過解方程dL(θ)/dθ=0來得到，因為lnL(θ)和L(θ)的增減性相同，所以它們在θ的同一值處取得最大值，稱lnL(θ)為對數似然函數，可以通過求解對數似然函數的最大值來得到極大似然解。 ^[2] 

（1）由總體分佈導出樣本的聯合概率密度函數；

（2）把樣本聯合概率密度函數中自變量看成已知常數，而把參數θ看作自變量，得到似然函數L(θ)；

（3）求似然函數的最大值點（常轉化為求對數似然函數的最大值點）；

（4）在最大值點的表達式中，用樣本值代入即得到參數的極大似然估計值。 ^[3] 

對總體參數的估計分兩種——點估計和區間估計。 ^[1] 

在點估計裏，我們介紹兩種求估計量的方法：矩估計法和極大似然估計法。

從矩估計法公式我們得到，對正態總體N(μ, σ²)，未知參數μ、σ²的矩估計與μ,、σ²的極大似然估計是相同的。一般地，在相當多的情況下，矩估計與極大似然估計是一致的，但也確有許多情形，矩估計法和極大似然估計法給出的估計是不同的。誰優誰劣？我們可以用估計量的優劣標準進行評價。除此之外，亦可以根據問題的實際意義進行判定。

給定一個概率分佈D ，假定其概率密度函數（連續分佈）或概率聚集函數（離散分佈）為f_D，以及一個分佈參數θ ，我們可以從這個分佈中抽出一個具有n 個值的採樣 ，通過利用f_D，我們就能計算出其概率： 但是，我們可能不知道θ 的值，儘管我們知道這些採樣數據來自於分佈D 。那麼我們如何才能估計出θ 呢？一個自然的想法是從這個分佈中抽出一個具有n 個值的採樣X₁,X₂,…,Xn，然後用這些採樣數據來估計θ 。一旦我們獲得 ，我們就能從中找到一個關於θ 的估計。最大似然估計會尋找關於 θ 的最可能的值（即，在所有可能的θ 取值中，尋找一個值使這個採樣的“可能性”最大化）。 ^[2] 

對參數估計來説，預報誤差法、極大似然估計法適用範圍均較為廣泛，他們不僅適用於線性模型，也適用於非線性模型，是處理殘差序列相關情況下的另一類辨識方法。