-
似然函數
鎖定
- 中文名
- 似然函數
- 外文名
- Likelihood function
- 簡 稱
- 似然
- 定 義
- 離散型概率分佈和連續型概率分佈
- 應 用
- 最大似然估計
- 學 科
- 統計學
似然函數定義
給定輸出x時,關於參數θ的似然函數L(θ|x)(在數值上)等於給定參數θ後變量X的概率:
似然函數在推斷統計學(Statistical inference)中扮演重要角色,如在最大似然估計和費雪信息之中的應用等等。“似然性”與“或然性”或“概率”意思相近,都是指某種事件發生的可能性,但是在統計學中,“似然性”和“或然性”或“概率”又有明確的區分。概率用於在已知一些參數的情況下,預測接下來的觀測所得到的結果,而似然性則是用於在已知某些觀測所得到的結果時,對有關事物的性質的參數進行估計。
[1]
似然函數分佈類型
似然函數離散型概率分佈
假定一個關於參數θ、具有離散型概率分佈P的隨機變量X,則在給定X的輸出x時,參數θ的似然函數可表示為
似然函數連續型概率分佈
假定一個關於參數θ、具有連續概率密度函數f的隨機變量X,則在給定X的輸出x時,參數θ的似然函數可表示為
上式常常寫為
,同樣需要注意的是,此處並非條件概率密度函數。
似然函數的主要用法在於比較它相對取值,雖然這個數值本身不具備任何含義。例如,考慮一組樣本,當其輸出固定時,這組樣本的某個未知參數往往會傾向於等於某個特定值,而不是隨便的其他數,此時,似然函數是最大化的。
似然函數乘以一個正的常數之後仍然是似然函數,其取值並不需要滿足歸一化條件
似然函數的這種特性還允許我們疊加計算一組具備相同含義的參數的獨立同分布樣本的似然函數。
關於利用似然函數進行統計推斷的應用,可以參考最大似然估計(Maximum likelihood estimation)方法和似然比檢驗(Likelihood-ratio testing)方法。
[1]
似然函數對數似然函數
涉及到似然函數的許多應用中,更方便的是使用似然函數的自然對數形式,即“對數似然函數”。求解一個函數的極大化往往需要求解該函數的關於未知參數的偏導數。由於對數函數是單調遞增的,而且對數似然函數在極大化求解時較為方便,所以對數似然函數常用在最大似然估計及相關領域中。例如:求解Gamma分佈中參數的最大似然估計問題:
如果想從輸出
中估計參數
,直接求解上式的極大化未免有些難度。在取對數似然函數後,
似然函數參數化模型的似然函數
似然函數計算實例
考慮投擲一枚硬幣的實驗。假如已知投出的硬幣正面朝上的概率是
,便可以知道投擲若干次後出現各種結果的可能性。比如説,投兩次都是正面朝上的概率是0.25:
這説明,如果參數的取值變成0.6的話,結果觀測到連續兩次正面朝上的概率要比假設0.5 時更大。也就是説,參數取成0.6 要比取成0.5 更有説服力,更為“合理”。總之,似然函數的重要性不是它的具體取值,而是當參數變化時函數到底變小還是變大。對同一個似然函數,如果存在一個參數值,使得它的函數值達到最大的話,那麼這個值就是最為“合理”的參數值。
[1]
似然函數應用
似然函數最大似然估計
最大似然估計是似然函數最初也是最自然的應用。上文已經提到,似然函數取得最大值表示相應的參數能夠使得統計模型最為合理。從這樣一個想法出發,最大似然估計的做法是:首先選取似然函數(一般是概率密度函數或概率質量函數),整理之後求最大值。實際應用中一般會取似然函數的對數作為求最大值的函數,這樣求出的最大值和直接求最大值得到的結果是相同的。似然函數的最大值不一定唯一,也不一定存在。與矩法估計比較,最大似然估計的精確度較高,信息損失較少,但計算量較大。
給定一個概率分佈D,假定其概率密度函數(連續分佈)或概率聚集函數(離散分佈)為fD,以及一個分佈參數θ,我們可以從這個分佈中抽出一個具有n個值的採樣X1,X2,...,Xn,通過利用fD,我們就能計算出其概率:
但是,我們可能不知道θ的值,儘管我們知道這些採樣數據來自於分佈D。那麼我們如何才能估計出θ呢?一個自然的想法是從這個分佈中抽出一個具有n個值的採樣X1,X2,...,Xn,然後用這些採樣數據來估計θ。
一旦我們獲得X1,X2,...,Xn,我們就能從中找到一個關於θ的估計。最大似然估計會尋找關於 θ的最可能的值(即,在所有可能的θ取值中,尋找一個值使這個採樣的“可能性”最大化)。這種方法正好同一些其他的估計方法不同,如θ的非偏估計,非偏估計未必會輸出一個最可能的值,而是會輸出一個既不高估也不低估的θ值。
要在數學上實現最大似然估計法,我們首先要定義可能性:
似然函數似然比檢驗
似然比檢驗是利用似然函數來檢測某個假設(或限制)是否有效的一種檢驗。一般情況下,要檢測某個附加的參數限制是否是正確的,可以將加入附加限制條件的較複雜模型的似然函數最大值與之前的較簡單模型的似然函數最大值進行比較。如果參數限制是正確的,那麼加入這樣一個參數應當不會造成似然函數最大值的大幅變動。一般使用兩者的比例來進行比較,這個比值是卡方分配。
尼曼-皮爾森引理説明,似然比檢驗是所有具有同等顯著性差異的檢驗中最有統計效力的檢驗。
似然比檢驗是一種尋求檢驗方法的一般法則。其基本思想如下: 設由n個觀察值X1,X2,…,Xn組成的隨機樣本來自密度函數為f(X; θ)的總體,其中θ為未知參數。要檢驗的無效假設是H0: θ=θ0,備擇假設是H1:θ≠θ0,檢驗水準為α。為此,求似然函數在θ=θ0處的值與在θ=θ(極大點)處的值(即極大值)之比,記作λ,可以知道:
(1) 兩似然函數值之比值λ只是樣本觀察值的函數,不包含任何未知參數。
(2) 0≤λ≤1,因為似然函數值不會為負,且λ的分母為似然函數的極大值,不會小於分子。
(3)越接近θ0時,λ越大;反之,與θ0相差愈大,λ愈小。因此,若能由給定的α求得顯著性界值λ0,則可按以下規則進行統計推斷:
當λ≤λ0,拒絕H0,接受H1;當λ>λ0,不拒絕H0,
這裏 P(λ≤λ0)=α。(2)對於離散型的隨機變量,只需把密度函數置換成概率函數p(X;θ),即
這一檢驗方法還可以推廣到有k個參數的情形。