估計理論

19世紀初，德國數學家C．F．高斯提出了最小二乘法估計，即最小平方誤差估計。從20世紀20~30年代，英國統計學家R．A．費什爾系統地建立經典估計理論。1941年蘇聯科學家A． H．柯爾莫戈洛夫首先論述離散時間情況下的預測問題，1942年推導出連續時間濾波。他們都把統計方法應用於解決與狀態估計有關的最佳線性濾波問題，為現代估計理論奠定了基礎。20世紀60年代初R．E．卡爾曼等人發展了維納理論，把狀態變量法引入濾波理論，用時域微分方程表示濾波問題，得到遞歸濾波算法，稱為卡爾曼濾波，適於用計算機求解和實時處理，從而使估計理論在許多領域得到應用。20世紀80年代初，光纖通信和激光雷達等的發展，促進了量子檢測和估計理論的發展。

源的輸出通常是時間t的函數,並且包含待估計的參量。例如,在雷達系統中,目標在每一時刻的回波就是源的輸出,可寫成Acos[2πf(t-tR)+φ0]，A是回波幅度；f是回波頻率；tR是時延。這些都是待估計的參量，包含着目標的散射特性、空間距離和運動速度等信息。源發出的數據在到達數據處理裝置前總是受到隨機噪聲的干擾。概率轉移機構把數據和噪聲按照數學規則轉移成具有一定概率模型的信號，作為處理裝置的輸入 y。處理裝置的任務就是對具有概率特性的數據進行必要的處理，然後按設定的規則得到估計量。如果待估計的參量只有一個θ，從對 y的n個觀測數據的處理所得的估計量為；因y具有隨機特性，估計量也將是一個隨機變量，它本身也有一階矩、二階矩等統計特性。估計量的好壞可用它的統計特性來表示。當θ 為實際參量時,稱與θ（稱為真值）之差為估計誤差。

常用的估計方法有最小平方誤差估計，極大似然估計和貝葉斯估計。最小平方誤差估計是使次觀測值與理論計算值的絕對誤差在平方和意義下為最小，並由此求得估計量。極大似然估計是以似然函數的概念為基礎的。例如，用Y來表示一組觀測量，θ表示一組未知參量，則條件概率密度函數p（Y|θ）是Y和θ兩者的函數。如果規定Y等於其觀測量Y*，則 p(Y*|θ)只是θ的函數，並稱之為似然函數。其涵義是p(Y*|θ)的值越大，則θ是準確值的可能性也越大。使(Y*|θ)最大的θ就是極大似然估計量。貝葉斯估計首先要給定隨機參量θ的概率密度函數p(θ)和因估計誤差而帶來的代價函數C(θ，）。假設處理裝置對Y進行了n次測量：y=(y1，y2…yn），對每次測量的估計為帶來可用c(θ，)表示的風險，使平均風險為最小的估計就是貝葉斯估計。

如果的期望值為零，即

表示估計量的期望值等於真值,稱為無偏估計。如果對同一參量θ用不同估計方法得出不同的無偏估計1,2,…，其中之一κ的方差是所有估計量方差中最小的，並達到相應的下限時,則稱κ為有效估計。如果對任一小的正數ε有下列概率的極限關係

則稱為一致估計。

常用的估計方法有最小平方誤差估計、極大似然估計和貝葉斯估計。

：對信號和噪聲的統計知識可以不作任何要求。它的基本點是使 n次觀測值與理論計算值的絕對誤差在平方和意義下最小，並由此求得估計量。若u是變量x,y,…的函數並含有m個參量θ1,θ2，…，θm，即

u=f(θ1,θ2,…,θm;x,y,…)

對u和x，y，…作n次觀測，得

(xi,yi,…,ui)　 (i=1,2,…,n)

於是u的理論計算值與觀測值ui的絕對誤差為，i=1，2，…,n。如n個絕對誤差的平方和最小,從而使函數u與觀測值u1,u2,…，un最佳擬合,也就是使參量θ1，θ2，…，θm滿足下列關係

為最小。根據微分學中求極值方法可知，θ1,θ2,…,θm，應滿足下列方程組

媉θ/媉θi=0　 (i=1，2，…，m)

由此可求得最小平方誤差估計量1，2，…，m。

用Y表示一組觀測量，θ表示一組未知參量，則條件密度函數p（Y|θ）是Y 和θ兩者的函數。如果規定Y等於其觀測量Y*，則p(Y*│θ只是θ的函數,並稱為似然函數。其涵義是似然函數p(Y*|θ)的值越大,則θ是準確值的可能性也越大。使p(Y*θ)最大的θ就是極大似然估計量，通常用表示。

對於單參量估計（多參量估計的情況相似）來説，首先要給定隨機參量 θ的概率密度函數p(θ)和因估計誤差而帶來的代價函數C(θ，)。假設處理裝置對Y進行了n次測量,y=(y1,y2,…，yn),且已知θ時y的條件聯合概率密度為p(y│θ)，則估計量(y)帶來的風險為

平均風險為

貝葉斯估計就是使平均風險R()成為最小的估計。可由方程

解出貝葉斯估計量。