極大似然估計

極大似然估計方法是求估計的另一種方法,1821年首先由德國數學家C. F. Gauss（高斯）提出，但是這個方法通常被歸功於英國的統計學家R. A. Fisher（羅納德·費希爾），他在1922年的論文On the mathematical foundations of theoretical statistics, reprinted in Contributions to Mathematical Statistics (by R. A. Fisher), 1950, J. Wiley & Sons, New York 中再次提出了這個思想，並且首先探討了這種方法的一些性質.極大似然估計這一名稱也是費希爾給的。這是一種仍然得到廣泛應用的方法。

它是建立在極大似然原理的基礎上的一個統計方法，極大似然原理的直觀想法是，一個隨機試驗如有若干個可能的結果A，B，C，... ，若在一次試驗中，結果A出現了，那麼可以認為實驗條件對A的出現有利，也即出現的概率P(A)較大。極大似然原理的直觀想法我們用下面例子説明。設甲箱中有99個白球，1個黑球；乙箱中有1個白球．99個黑球。現隨機取出一箱，再從抽取的一箱中隨機取出一球，結果是黑球，這一黑球從乙箱抽取的概率比從甲箱抽取的概率大得多，這時我們自然更多地相信這個黑球是取自乙箱的。一般説來，事件A發生的概率與某一未知參數

有關，

取值不同，則事件A發生的概率

也不同，當我們在一次試驗中事件A發生了，則認為此時的

值應是t的一切可能取值中使

達到最大的那一個，極大似然估計法就是要選取這樣的t值作為參數t的估計值，使所選取的樣本在被選的總體中出現的可能性為最大。 ^[1] 

極大似然估計，只是一種概率論在統計學的應用，它是參數估計的方法之一。説的是已知某個隨機樣本滿足某種概率分佈，但是其中具體的參數不清楚，參數估計就是通過若干次試驗，觀察其結果，利用結果推出參數的大概值。極大似然估計是建立在這樣的思想上：已知某個參數能使這個樣本出現的概率最大，我們當然不會再去選擇其他小概率的樣本，所以乾脆就把這個參數作為估計的真實值。

當然極大似然估計只是一種粗略的數學期望，要知道它的誤差大小還要做區間估計。

1.求極大似然函數估計值的一般步驟：

（1） 寫出似然函數；

（2） 對似然函數取對數，並整理；

（3） 求導數 ；

（4） 解似然方程 。

2.利用高等數學中求多元函數的極值的方法，有以下極大似然估計法的具體做法：

(1)根據總體的分佈，建立似然函數

;

(2) 當 L 關於

可微時，(由微積分求極值的原理）可由方程組

:

定出

，稱以上方程組為似然方程.

因為 L 與

有相同的極大值點，所以

也可由方程組

定出

，稱以上方程組為對數似然方程；

就是所求參數

的極大似然估計量。

當總體是離散型的，將上面的概率密度函數

，換成它的分佈律

. ^[2] 

1.若總體X為離散型，其概率分佈列為

其中

為為未知參數。設

是取自總體的樣本容量為n的樣本，則

的聯合分佈律為

。又設

的一組觀測值為

，易知樣本

取到觀測值

的概率為

這一概率隨

的取值而變化，它是

的函數，稱

為樣本的似然函數。

2.若總體X為連續型，其概率密度函數為

，其中

為未知參數。設

是取自總體的樣本容量為n的簡單樣本，則

的聯合概率密度函數為

。又設

的一組觀測值為

，則隨機點

落在點

的鄰邊（邊長分別為

的n維立方體）內的概率近似地為

。

考慮函數

同樣，

稱為樣本的似然函數。

極大似然估計法原理就是固定樣本觀測值

，挑選參數

使

這樣得到的

與樣本值有關，

稱為參數

的極大似然估計值，其相應的統計量

稱為

的極大似然估計量。極大似然估計簡記為MLE或

。

問題是如何把參數

的極大似然估計

求出。更多場合是利用

是

的增函數，故

與

在同一點處達到最大值，於是對似然函數

取對數，利用微分學知識轉化為求解對數似然方程

解此方程並對解做進一步的判斷。但由最值原理，如果最值存在，此方程組求得的駐點即為所求的最值點，就可以很到參數的極大似然估計。極大似然估計法一般屬於這種情況，所以可以直接按上述步驟求極大似然估計。 ^[1]