熵率

如果給定一個長度為n的隨機變量序列，我們自然會問：該序列的熵隨n如何增長?下面定義這個增長率，我們稱為熵率。

當如下極限存在時，隨機過程

的熵率定義為 ^[2] 

下面考慮幾個簡單的隨機過程例子及其相應的熵率。 ^[2] 

1．打字機。假定一台打字機可輸出m個等可能的字母。由此打字機可產生長度為n的

個序列，並且都等可能出現。因此，

，熵率為

比特/字符。隨機過程的熵率43符。

2．i.i.d. 隨機變量序列

。此時，有

這正是我們所期望的每字符的熵率。

3．獨立但非同分佈的隨機變量序列。在此情形下，有

但

不全相等。我們可以選擇

的一個分佈序列，使

的極限不存在。例如取二值隨機分佈序列，其中

不是常數，而為i的函數。通過細心選取

匕糾可使得式

的極限不存在。例如，對

取

此時，該序列的情況是，滿足

的隨機變量序列(可以任意長)之後，緊接着是更長以指數變化的序列滿足

。所以，

的累積平均值將在0與1之間振盪，從而不存在極限。因此，該過程的

無定義。

我們也可以定義熵率的一個相關的量(如果下列極限存在)：

和

這兩個量反映了熵率概念的兩個不同方面。第一個量指的是n個隨機變量的每字符熵，而第二個量指在已知前面n-1隨機變量的情況下最後一個隨機變量的條件熵。 ^[2] 

對於平穩隨機過程，式

和式

中的極限均存在且相等： ^[2] 

=

我們先來證明

存在。

對於平穩隨機過程，

隨n遞減且存在極限

。

證明：

其中的不等式由條件作用使熵減小這個性質得到，而等式由該過程的平穩性得到。由於

是非負且遞減的數列，故其極限

存在。

接下來使用數學分析中的一個如下簡單結論。 ^[2] 

均值：若

，且

，則

。

證明：(非正式思路)由於序列

中的大部分項最終趨於a，那麼，

是

的前n項的平均，也將最終趨於a。正式證明閲參考資料。 ^[2] 

定理1的證明 由鏈式法則

也就是説，熵率為條件熵的時間平均。然而，我們已經知道條件熵趨於極限H'，因此，由定理3可知，條件熵的累積平均存在極限，且此極限就是其通項的極限H'。於是，由定理2，

研究隨機過程熵率的重要意義體現在平穩遍歷過程的AEP。 ^[2] 

對任何平穩過程，熵率均有恰當的定義。而對於馬爾可夫鏈，計算熵率尤為容易。

馬爾可夫鏈對於平穩的馬爾可夫鏈，熵率為

=

=

其中的條件熵可根據給出的平穩分佈計算得到。注意到，平穩分佈

為下列方程組的解：

其中

為任意值。 ^[2] 

設

為平穩馬爾可夫鏈，其平穩分佈為

，轉移矩陣為P。則熵率為

證明：

。 ^[2]