-
極大似然估計法
鎖定
極大似然估計法是求估計的另一種方法，最早由高斯提出。後來為費歇在1912年的文章中重新提出，並且證明了這個方法的一些性質。極大似然估計這一名稱也是費歇給的。這是一種仍然得到廣泛應用的方法。它是建立在極大似然原理的基礎上的一個統計方法，極大似然原理的直觀想法是：一個隨機試驗如有若干個可能的結果A，B，C，…。若在一次試驗中，結果A出現，則一般認為試驗條件對A出現有利，也即A出現的概率很大。
- 中文名
- 極大似然估計法
- 外文名
- maximum likelihood estimation method
- 本 質
- 一種具有理論性的點估計法
- 基本思想
- 合理的參數估計量使得概率最大
- 用 途
- 估計
- 領 域
- 數學
- 發明者
- 高斯
極大似然估計法定義
最大似然估計，只是一種概率論在統計學的應用，它是參數估計的方法之一。説的是已知某個隨機樣本滿足某種概率分佈，但是其中具體的參數不清楚，參數估計就是通過若干次試驗，觀察其結果，利用結果推出參數的大概值。最大似然估計是建立在這樣的思想上：已知某個參數能使這個樣本出現的概率最大，我們當然不會再去選擇其他小概率的樣本，所以乾脆就把這個參數作為估計的真實值。
[1]
極大似然估計法離散型
設X為離散型隨機變量，
為多維參數向量，如果隨機變量相互獨立，則可得概率函數
，在
固定時，上式表示
的概率；當
已知的時候，它又變成
的函數，可以把它記為
，稱此函數為似然函數。似然函數值的大小意味着該樣本值出現的可能性的大小，既然已經得到了樣本值
，那麼它出現的可能性應該是較大的，即似然函數的值也應該是比較大的，因而最大似然估計就是選擇使
達到最大值的那個
作為真實的估計。
極大似然估計法連續型
極大似然估計法求解步驟
（1） 寫出似然函數
（2） 對似然函數取對數，並整理
（3） 求導數
（4） 解似然方程
極大似然估計法用途
參數估計
根據從總體中抽取的樣本估計總體分佈中包含的未知參數的方法。它是統計推斷的一種基本形式，是數理統計學的一個重要分支，分為點估計和區間估計兩部分。
點估計：依據樣本估計總體分佈中所含的未知參數或未知參數的函數。 常用方法有：矩估計法、極大似然估計法、最小二乘法、貝葉斯估計法。
區間估計（置信區間的估計）：依據抽取的樣本，根據一定的正確度與精確度的要求，構造出適當的區間，作為總體分佈的未知參數或參數的函數的真值所在範圍的估計。例如人們常説的有百分之多少的把握保證某值在某個範圍內，即是區間估計的最簡單的應用。
極大似然估計法應用
1.樸素貝葉斯法
在正態分佈前提下求出了p時刻預測值yp的先驗分佈密度和後驗分佈密度，由已知的信息估計了兩個協方差陣。最後求出yp的貝葉斯極大似然估計，它是兩個組合預測的加權平均，本身仍為一組合預測，其權重隨預測時刻p的改變而改變。
[2]
2.EM算法
利用傳統的估計方法確定混合正態分佈參數極大似然估計是很困難的.為此採用EM統計算法,引入恰當的"潛在數據"簡化了計算過程,將複雜的極大化運算轉化為一系列求期望和極大化的簡單步驟.算例結果表明EM算法是有效的,估值精度滿足要求.
[3]
期望最大算法是一種從不完全數據或有數據丟失的數據集（存在隱含變量）中求解概率模型參數的最大似然估計方法。
EM的算法流程：
初始化分佈參數θ；
重複以下步驟直到收斂：
E步驟：根據參數初始值或上一次迭代的模型參數來計算出隱性變量的後驗概率，其實就是隱性變量的期望。作為隱藏變量的現估計值：
M步驟：將似然函數最大化以獲得新的參數值：
這個不斷的迭代，就可以得到使似然函數L(θ)最大化的參數θ了。
- 詞條統計
-
- 瀏覽次數：次
- 編輯次數：10次歷史版本
- 最近更新： 畅想千年