信息論與編碼理論

本書主要介紹由香農理論發展起來的信息論與編碼理論，用於解決通信中的基本問題。

首先簡要介紹編碼的概念；第一部分介紹香農理論、信道與信源編碼理論；第二部分詳細介紹幾種編碼方案，可用於信道與信源編碼。書中提供了大量實例，每章末均有習題與説明，以便於具有概率論與線性代數知識的讀者掌握和理解。

本書可用做信息、通信、電子工程等專業的相關課教材，也可作為有一定英語基礎的人員自學使用。信息論是運用概率論與數理統計的方法研究信息、信息熵、通信系統、數據傳輸、密碼學、數據壓縮等問題的應用數學學科。 信息論將信息的傳遞作為一種統計現象來考慮，給出了估算通信信道容量的方法。信息傳輸和信息壓縮是信息論研究中的兩大領域。

這兩個方面又由信息傳輸定理、信源－信道隔離定理相互聯繫。 香農被稱為是“信息論之父”。人們通常將香農於1948年10月發表於《貝爾系統技術學報》上的論文《A Mathematical Theory of Communication》（通信的數學理論）作為現代信息論研究的開端。

這一文章部分基於哈里·奈奎斯特和拉爾夫·哈特利先前的成果。在該文中，香農給出了信息熵（以下簡稱為“熵”）的定義： H = - ∑ pilogpi i 這一定義可以用來推算傳遞經二進制編碼後的原信息所需的信道帶寬。熵度量的是消息中所含的信息量，其中去除了由消息的固有結構所決定的部分，比如，語言結構的冗餘性以及語言中字母、詞的使用頻度等統計特性。

信息論中熵的概念與物理學中的熱力學熵有着緊密的聯繫。玻耳茲曼與吉布斯在統計物理學中對熵做了很多的工作。信息論中的熵也正是受之啓發。 互信息(Mutual Information)是另一有用的信息度量，它是指兩個事件集合之間的相關性。兩個事件X和Y的互信息定義為： I(X,Y) = H(X) + H(Y) - H(X,Y) 其中H(X,Y) 是聯合熵(Joint Entropy)，其定義為： H(X,Y) = - ∑ p(x,y)logp(x,y) x,y 互信息與多元對數似然比檢驗以及皮爾森χ2校驗有着密切的聯繫。 ^[1] 

本書主要介紹由香農理論發展起來的信息論與編碼理論，用於解決通信中的基本問題。首先簡要介紹編碼的概念；第一部分介紹香農理論、信道與信源編碼理論；第二部分詳細介紹幾種編碼方案，可用於信道與信源編碼。書中提供了大量實例，每章末均有習題與説明，以便於具有概率論與線性代數知識的讀者掌握和理解。

本書可用做信息、通信、電子工程等專業的相關課教材，也可作為有一定英語基礎的人員自學使用。 ^[1] 

第1章 緒論

1．1 信息

1．1．1 信息的概念

1．1．2 信息的性質

1．2 通信系統模型

1．2．1 信源和信宿

1．2．2 編碼器和譯碼器

1．2．3 信道和噪聲

1．3 離散與連續

1．4 信息論和編碼理論的形成和發展

小結

習題

第2章 信息的統計度量

2．1 自信息和條件自信息

2．1．1 自信息的定義與含義

2．1．2 條件自信息的定義與含義

2．2 互信息

2．2．1 互信息的定義與含義

2．2．2 互信息的性質

2．3 平均自信息(熵)

2．3．1熵的定義與含義

2．3．2 熵函數的數學性質

2．3．3 條件熵

2．3．4 聯合熵

2．3．5 各種熵之間的關係

2．4 平均互信息

2．4．1 平均互信息的定義與含義

2．4．2 平均互信息的性質

2．4．3 各種熵和平均互信息量之間的關係

2．5 連續隨機變量的互信息和相對熵

2．5．1 連續隨機變量的統計特性

2．5．2 連續隨機變量的互信息

2．5．3 連續隨機變量的相對熵

小結

習題

第3章 離散信源

3．1 離散信源的數學模型

3．2 信源的分類

3．2．1 無記憶信源

3．2．2 有記憶信源

3．3 離散無記憶信源

3．3．1 離散無記憶信源及其熵

3．3．2 離散無記憶信源的擴展信源及其熵

3．4 馬爾可夫信源

3．4．1 馬爾可夫信源的定義

3．4．2 有限狀態馬爾可夫鏈

3．4．3 馬爾可夫信源的馬爾可夫鏈性質

3．4．4 馬爾可夫信源的熵

3．5 離散平穩信源

3．5．1 平穩信源的概念

3．5．2 平穩信源的熵

3．6 信源的相關性和剩餘度

小結

習題

第4章 離散信道

4．1 離散信道的數學模型

4．2 信道的分類

4．3 離散無記憶信道

4．3．1 離散無記憶信道的數學模型

4．3．2 信道疑義度和噪聲熵

4．3．3 信道的平均互信息及其含義

4．4 信道的組合

4．5 信道容量

4．5．1 信息傳輸率

4．5．2 信道容量的定義及含義

4．5．3 三種特殊信道的容量

4．5．4 對稱信道的容量

4．5．5 一般信道的容量

4．5．6 信源和信道的匹配

小結

習題

第5章 連續信源和連續信道

5．1 連續信源

5．1．1 連續信源的數學模型

5．1．2 連續信源的熵和互信息

5．2 連續信道及其信道容量

5．2．1 時間離散信道

5．2．2 連續信道

小結

習題

第6章 無失真信源編碼

6．1 編碼的基本概念

6．1．1 編碼器和譯碼器

6．1．2 碼的分類

6．1．3 N次擴展碼

6．2 “無失真”的本質

6．3 定長碼

6．4 變長碼

6．4．1 變長碼的衡量指標

6．4．2 變長碼的特點

6．4．3 唯一可譯碼和即時碼的判別

6．4．4 無失真信源編碼定理(香農第一定理)

6．5 霍夫曼碼

6．5．1 二元霍夫曼碼

6．5．2 多元霍夫曼碼

6．6 算術編碼

6．6．1 算術編碼的基本原理

6．6．2 算術編碼方法

6．6．3 算術譯碼方法

6．7 LZW編碼

6．7．1 LZW基本原理

6．7．2 LZW編碼方法

小結

習題

第7章 限失真信源編碼

7．1 失真的度量

7．1．1 失真函數和失真矩陣

7．1．2 序列失真

7．1．3 平均失真和保真度準則

7．2 信息率失真函數

7．2．1 信息率失真函數的定義和含義

7．2．2 信息率失真函數的定義域和性質

7．2．3 信息率失真函數和信道容量的關係

7．2．4 限失真信源編碼定理(香農第三定理)

7．3 量化編碼

7．3．1 量化編碼的主要作用

7．3．2 均勻量化

7．3．3 最優量化

7．3．4 矢量量化編碼

7．4 預測編碼

7．4．1 預測編碼的基本原理和方法

7．4．2 預測編碼能夠限失真壓縮信源的原因

7．4．3 DPCM編譯碼原理

7．5 變換編碼

7．5．1 變換編碼的基本原理

7．5．2 變換編碼能夠限失真壓縮信源的原因

7．5．3 離散餘弦變換

7．5．4 變換編碼的廣泛應用

小結

習題

第8章 信道編碼

8．1 信道編碼的基本概念

8．1．1 編譯碼規則、檢糾錯能力

8．1．2 平均錯誤譯碼概率

8．2 譯碼規則

8．3 有噪信道編碼定理(香農第二定理)

8．4 線性分組碼

8．4．1 基本概念

8．4．2 線性分組碼的性質

8．4．3 線性分組碼的兩個重要參數——編碼效率和最小漢明距離

8．4．4 生成矩陣和監督矩陣 ^[1]