-
Shannon 編碼定理
鎖定
信源編碼定理表明(在極限情況下,隨着獨立同分布隨機變量數據流的長度趨於無窮)不可能把數據壓縮得碼率(每個符號的比特的平均數)比信源的香農熵還小,不滿足的幾乎可以肯定,信息將丟失。但是有可能使碼率任意接近香農熵,且損失的概率極小。
- 中文名
- Shannon 編碼定理
- 外文名
- Shannon's source coding theorem
- 別 名
- 信源編碼定理
目錄
- 1 陳述
- ▪ 信源編碼定理
- ▪ 碼符號的信源編碼定理
- 2 證明:碼符號的信源編碼定理
Shannon 編碼定理陳述
信源編碼是從信息源的符號(序列)到碼符號集(通常是bit)的映射,使得信源符號可以從二進制位元(無損信源編碼)或有一些失真(有損信源編碼)中準確恢復。這是在數據壓縮的概念。
Shannon 編碼定理信源編碼定理
在信息論中,信源編碼定理非正式地陳述為:
N個熵均為H(X)的獨立同分布的隨機變量在N→∞時,可以很小的信息損失風險壓縮成多於N H(X)bit;但相反地,若壓縮到少於
bit,則信息幾乎一定會丟失。
Shannon 編碼定理碼符號的信源編碼定理
令Σ1,Σ2表示兩個有限編碼表,並令Σ1*和Σ2*(分別)表示來自那些編碼表的所有有限字的集合。
設X為從Σ1取值的隨機變量,令 f 為從Σ1*到Σ2*的唯一可譯碼,其中|Σ2|=a。令S表示字長 f (X)給出的隨機變量。
如果 f 是對X擁有最小期望字長的最佳碼,那麼:
Shannon 編碼定理證明:碼符號的信源編碼定理
對於1≤i≤n令si表示每個可能的xi的字長。定義
,其中C會使得q1+...+qn=1。於是
對第二個不等式我們可以令
- 詞條統計
-
- 瀏覽次數:次
- 編輯次數:8次歷史版本
- 最近更新: Q宇涵6