參量估計

常用的參量估計方法有最小平方誤差估計、極大似然估計和貝葉斯估計。最小平方誤差估計對信號和噪聲的統計知識可以不作任何要求。極大似然估計是以似然函數的概念為基礎。貝葉斯估計首先要給定隨機參量θ的概率密度函數和因估計誤差而帶來的代價 函數。貝葉斯估計是使平均風險為最小的估計(見估計理論）。

參量估計的目的是在有限個信號觀測量值中，以最佳方式估計該參量。

準則：對不同的估計結果給出不同的代價，並使估計代價最小。

貝葉斯估計是將貝葉斯判決理論，推廣到對隨機參量估計的貝葉斯估計理論。

有關定義如下：

代價函數C：

若s是一參量，可在參量空間Ω中取值；

若

是估計量，可在判決空間A中取值。

稱C(

，S)是代價函數，它是

和s的實值函數，且滿足下列兩個條件：

⑴ C(s，

)≥0，對所有的

，S

Ω

⑵ 對應於每個S

Ω和C(s，

)=0，在A中有一個最小的

。

風險函數(Risk function)

定義為代價函數的均值，即：

△ 貝葉斯估計－使風險函數最小的估計。

由於估計誤差

決定估計問題中估計質量的好壞，所以，通常僅對估計值與真實值之差

感興趣。若考慮誤差函數的代價，這時C可定義為(S-

)的單變量函數，有下列三種情況：

(a) 平方誤差

(b) 絕對值誤差

(c) 均勻代價函數如圖1。

貝葉斯判據：平均代價最小，即 E(c)=min。

由於c是

的函數，而

又是觀察值x的函數，所以c就是x和s的聯合函數，所以有：

用後驗概率函數表示為：

令：

，R稱為條件風險函數。

下面針對三種代價函數分三種情況探討估計準則：

情況(a)： 平方誤差情況下，風險函數最小的估計量稱為最小均方估計(minimum mean square estimation)

其風險函數為：

由於：p(s,x)=p(s|x)p(x)

則風險函數為：

∵p(x)≥0故RMS最小即等效為上式括號[ ]內項最小。

上式內項對求導，故有

則有：

由於

此即為最小均方估值

，表示已知x時，s的條件均值。

情況(b)：

絕對值誤差情況下，風險函數如圖2：

上式括號[ ]內項如圖3：

故RMS最小即等效為上式括號[ ]內項最小。於是，可令上式對

的導數為零，則有如圖4：

ABS估計應取在後驗概率密度函數面積的平分線上，即估值為條件概率密度函數的中值(median)。

——稱為後驗中值估計如圖5

情況(c)：

均勻代價函數

上式[ ]號中的後面一項如圖6：

當此式最大，即p(s|x)最大時，平均代價Runf最小。此時稱為最大後驗估值(Maximum a Posteriori)。

取對數，則有如圖7，既滿足圖8的條件。

最後，將三種情況估計式中後驗概率密度函數借助於貝葉斯公式

用先驗概率代替得到：

ABS估計如圖9：

MAP估計如圖10：

MS估計如圖11：

設x1, x2,..., xN為隨機變量x的獨立同分布的N個觀測樣值，p(x|θ)為x的依賴參量θ分佈密度函數，參量θ為待估計的量。則似然函數如圖12：

估計準則：選取使似然函數L(θ)為最大的

作為θ的估計量，稱為θ的最大似然估計。

L (θ)最大等效ln L(θ)最大。要求θ的最大似然估計

，必需解似然方程：

由於對數函數的單調性，取對數似然函數進行估計，則有：

此式為必要條件，而不是充分條件。

例5.1 在假設H1和H0下，接收信號為：

H1:Zk=m+vK, k=1,2,...N

H0:Zk= vK, k=1,2,...N

當常數m為未知時，求m的最大似然估計。

解：用前面的檢測理論是判決那個假設為真。

本節的估計理論，H1假設為真，vK為高斯噪聲。、本例中，參量估計=，其均值為m，接下來的步驟如圖13。

以雷達系統為例，接收端收到的混有噪聲和干擾的信號樣本就是雷達目標的回波，通常可寫成Acos[2πf（t-t_r）+φ₀]，A是回波幅度；f是回波頻率；tr是雷達波發射時間和回波收到時間之差(通常稱為時延）。這些都是待估計的參量，包含着目標的散射待性、空間距離和運動速度等信息。雷達接收端的任務就是要按照數學規則，採用適當技術措施把這些混合信號變換成具有一定概率模型的信號，然後再按照設定的規則得到估計量。假設待估計的參量之一是θ，從對n個觀測數據的處理所得的估計量為

，

一般也是一個隨機變量。估計量的好壞可用它的統計特性來表示。當θ為實際參量時，稱

與其真值θ之差為估計誤差，用

表示，即

=θ-

。如果

的期望值為零。即

或

表示估計量的期望值等於真值，稱為無偏估計。如果對同一參量用不同估計方法得出不同的無偏估計

如其中之一

的方差是所有估計量方差中最小的，並達到相應的下限時，則稱

為有效估計。如果對任一小的正數ε有下列概率的極限關係

則

稱為一致估計量。