信息論基礎

本書介紹信息論及其應用，內容豐富，涉及信息、統計，計算機科學等領域，系統和全面地介紹了香農信息論的基本理論與多類應用問題，其中包括作者的許多研究成果。本書包含大量的例題與背景説明，涉及信息處理與信息世界中的許多問題。本書是美國斯坦福大學、萊斯大學等使用的信息論教材，是學習信息論的主要參考書。

本書全面系統地介紹了香農信息論的基本理論以及多類應用問題，其中包括了作者的許多研究成果。本書闡述了熵、相對熵和互信息之間的基本代數關係，論述了漸近均分性（AEP）、隨機過程和數據壓縮的熵率、Kolmogorov複雜度、信道容量定理、微分熵以及網絡信息理論等內容，並採用“使用不等式串、中間不加任何文字、最後直接加以解釋”的創新表述方式，使讀者學習了一定數量的證明後，在沒有任何解釋的情況下就能理解其中的大部分步驟，並給予必要的解釋。 本書適合作為通信理論、計算機科學和數學等專業學生學習信息論的教材。章後提供的習題便於老師的教學，以及增強學生對信息論的理解。 ^[1] 

譯者序

前言

第1章 緒論與概覽

第2章 熵、相對熵和互信息

2.1 熵

2.2 聯合熵和條件熵

2.3 相對熵和互信息

2.4 熵與互信息的關係

2.5 熵、相對熵和互信息的鏈式法則

2.6 Jensen不等式及其結果

2.7 對數和不等式及其應用

2.8 數據處理不等式

2.9 熱力學第二定律

2.10 充分統計量

2.11 Fano不等式

要點

習題

歷史回顧

第3章 漸近均分性

3.1 漸近均分性的定義

3.2 AEP的結果應用：數據壓縮

3.3 高概率集與典型集

要點

習題

歷史回顧

第4章 隨機過程的熵率

4.1 馬爾可夫鏈

4.2 熵率

4.3 例子：加權圖上隨機遊動的熵率

4.4 隱馬爾可夫模型

要點

習題

歷史回顧

第5章 數據壓縮

5.1 有關編碼的例子

5.2 Kraft不等式

5.3 最優碼

5.4 最優碼長的界

5.5 惟一可譯碼的Kraft不等式

5.6 赫夫曼碼

5.7 有關赫夫曼碼的評論

5.8 赫夫曼碼的最優性

5.9 Shannon-Fano-Elias編碼

5.10 算術編碼

5.11 香農碼的競爭最優性

5.12 由均勻硬幣投擲生成離散分佈

要點

習題

歷史回顧

第6章 博弈與數據壓縮

6.1 馬賽

6.2 博弈與邊信息

6.3 相依的馬賽及其熵率

6.4 英文的熵

6.5 數據壓縮與博弈

6.6 英文的熵的博弈估計

要點

習題

歷史回顧

第7章 Kolmogorov複雜度

7.1 計算模型

7.2 Kolmogorov複雜度：定義和例子

7.3 Kolmogorov複雜度與熵

7.4 整數的Kolmogorov複雜度

7.5 算法隨機序列與不可壓縮序列

7.6 普適概率

7.7 停止問題和Kolmogorov複雜度的不可計算性

7.8 Ω

7.9 普適投注策略

7.10 奧克姆剃刀

7.11 Kolmogorov複雜度與普適概率

7.12 Kolmogorov充分統計量

要點

習題

歷史回顧

第8章 信道容量

8.1 信道容量的例子

8.2 對稱信道

8.3 信道容量的性質

8.4 信道編碼定理預覽

8.5 定義

8.6 聯合典型序列

8.7 信道編碼定理

8.8 零誤差碼

8.9 Fano不等式與編碼定理的逆定理

8.10 信道編碼定理的逆定理中的等式

8.11 漢明碼

8.12 反饋容量

8.13 聯合信源信道編碼定理

要點

習題

歷史回顧

第9章 微分熵

9.1 定義

9.2 連續隨機變量的AEP

9.3 微分熵與離散熵的關係

9.4 聯合微分熵和條件微分熵

9.5 相對熵和互信息

9.6 微分熵、相對熵以及互信息的性質

9.7 離散熵的微分熵界

要點

習題

歷史回顧

第10章 高斯信道

10.1 高斯信道的定義

10.2 高斯信道編碼定理的逆定理

10.3 有限帶寬信道

10.4 並聯高斯信道

10.5 彩色高斯噪聲信道

10.6 帶反饋的高斯信道

要點

習題

歷史回顧

第11章 最大熵與譜估計

11.1 最大熵分佈

11.2 例子

11.3 反常的最大熵問題

11.4 譜估計

11.5 高斯過程的熵率

11.6 Burg最大熵定理

要點

習題

歷史回顧

第12章 信息論與統計學

12.1 型方法

12.2 大數定律

12.3 通用信源編碼

12.4 大偏差理論

12.5 Sanov定理的例子

12.6 條件極限定理

12.7 假設檢驗

12.8 Stein引理

12.9 Chernoff界

12.10 Lempel-Ziv編碼

12.11 Fisher信息與Cram巖-Rao不等式

要點

習題

歷史回顧

第13章 率失真理論

13.1 量化

13.2 定義

13.3 率失真函數的計算

13.4 率失真定理的逆定理

13.5 率失真函數的可達性

13.6 強典型序列與率失真

13.7 率失真函數的特徵

13.8 信道容量與率失真函數的計算

要點

習題

歷史回顧

第14章 網絡信息論

14.1 高斯多用户信道

14.2 聯合典型序列

14.3 多接入信道

14.4 相關信源的編碼

14.5 Slepian-Wolf編碼與多接入信道之間的對偶性

14.6 廣播信道

14.7 中繼信道

14.8 具有邊信息的信源編碼

14.9 具有邊信息的率失真

14.10 一般多端網絡

要點

習題

歷史回顧

第15章 信息論與股票市場

15.1 股票市場：定義

15.2 對數最優投資組合的Kuhn-Tucker特徵

15.3 對數最優投資組合的漸近最優性

15.4 邊信息與雙倍率

15.5 平穩市場中的投資

15.6 對數最優投資組合的競爭最優性

15.7 Shannon-McMillan-Breiman定理

要點

習題

歷史回顧

第16章 信息論的不等式

16.1 信息論的基本不等式

16.2 微分熵

16.3 熵與相對熵的界

16.4 型的不等式

16.5 子集的熵率

16.6 熵與Fisher信息

16.7 熵冪不等式與Brunn-Minkowski不等式

16.8 行列式的不等式

16.9 行列式的比值的不等式

全書要點

習題

歷史回顧

參考文獻

索引 ^[1]