信息論基礎

《信息論基礎》是作者多年教學和科研實踐的積累，是在吸收國內外優秀教材優點的基礎上， 進一步優化整合教學內容，並進行改進和補充而成的。

全書共分為12章，內容包括：信息的基本概念、香農信息論研究的內容與進展，離散信息的度量，離散信源，連續信息與連續信源，無失真信源編碼，離散信道及其容量，有噪信道編碼，波形信道，信息率失真函數，有約束信道及其編碼，網絡信息論初步，信息理論方法與應用，概率論的基礎知識，信源的基本編碼理論和信道的基本編碼理論。

本書強調定理中物理概念和結論的理解與掌握，簡化煩瑣的數學推導，注重使用明確、直觀的物理概念，增加實例，力求讓講述的內容更適合工科專業學生的學習。本書有*號的部分可以作為選學內容，有利於教師根據教學計劃進行調整。每章的思考題和習題可以作為課後的練習。

第1章　緒論　1

1.1　信息的基本概念　1

1.2　香農信息論研究的內容　3

1.3　香農信息論研究的進展與應用　8

第2章　離散信息的度量　14

2.1　自信息和互信息　14

2.2　信息熵　18

2.3　平均互信息　27

本章小結　33

習題　34

第3章　離散信源　37

3.1　離散信源的分類與數學模型　37

3.2　離散無記憶信源的熵　39

3.3　離散平穩信源的熵　40

3.4　有限狀態馬爾可夫鏈　42

3.5　馬爾可夫信源　48

3.6　信源的相關性與剩餘度　55

本章小結　59

第4章　連續信息與連續信源　64

4.1　連續隨機變量集合的熵　64

4.2　離散時間高斯信源的熵　69

4.3　連續最大熵定理　70

4.4　連續隨機變量集的平均互信息　72

4.5　離散集與連續集之間的互信息　75

本章小結　77

第5章　無失真信源編碼　80

5.1　概述　80

5.2　定長碼　83

5.3　變長碼　88

5.4　哈夫曼編碼　93

*5.5　幾種實用的編碼方法　99

本章小結　101

第6章　離散信道及其容量　105

6.1　概述　105

6.2　單符號離散信道及其容量　109

6.3　級聯信道及其容量　116

6.4　多維矢量信道及其容量　118

6.5　信道容量的迭代計算　123

本章小結　125

第7章　有噪信道編碼　129

7.1　概述　129

7.2　最佳判決與譯碼準則　132

7.3　信道編碼與最佳譯碼　134

7.4　費諾(Fano)不等式　137

7.5　有噪信道編碼定理　139

7.6　糾錯編碼技術簡介　144

*7.7　信道編碼性能界限　150

本章小結　153

第8章　波形信道　159

8.1　離散時間連續信道　159

8.2　加性噪聲信道與容量　161

8.3　AWGN信道的容量　166

8.4　有色高斯噪聲信道　173

*8.5　數字調製系統的信道容量　176

本章小結　179

第9章　信息率失真函數　183

9.1　概述　183

9.2　離散信源信息率失真函數　185

9.3　限失真信源編碼定理　188

9.4　離散信源信息率失真函數的計算　190

9.5　連續信源信息率失真函數　195

9.6　高斯信源的R(D)函數　197

9.7　一般連續信源R(D)函數　201

*9.8　有損數據壓縮技術簡介　201

本章小結　204

第10章　有約束信道及其編碼　208

10.1　標號圖的性質　208

10.2　有約束信道容量　211

10.3　有約束序列的性質　215

10.4　有約束信道編碼定理　220

*10.5　有約束序列編碼與應用　222

本章小結　227

第11章　網絡信息論初步　230

11.1　概述　230

11.2　多址接入信道　23

11.3　廣播信道　238

11.4　相關信源編碼　242

本章小結　247

*第12章　信息理論方法及其應用　250

12.1　信源熵的估計　250

12.2　最大熵原理 255

12.3　最小交叉熵原理　261

12.3.4　交叉熵法　265

12.4　信息理論方法的應用　265

本章小結　273

參考文獻　276