信息論與編碼理論

本書系統討論了香農信息理論中的基本概念和相關問題，介紹了信源、信道、信源編碼、信道編碼的一般原理和基本方法。全書內容分為8章，包括緒論、信息的統計度量、離散信源、離散信道、連續信源和連續信道、無失真信源編碼、限失真信源編碼、信道編碼。 本書深入淺出，可作為信息工程、通信工程、信息安全、計算機應用等相關專業本科生和研究生的教材或教學參考書，也可作為從事信息理論、信息技術、通信系統、信息安全研究的科研和工程技術人員的參考用書。

第1章緒論

1.1信息

1.1.1信息的概念

1.1.2信息的性質

1.2通信系統模型

1.2.1信源和信宿

1.2.2編碼器和譯碼器

1.2.3信道和噪聲

1.3離散與連續

1.4信息論和編碼理論的形成和發展

1.5本章小結

1.6習題

第2章信息的統計度量

2.1自信息和條件自信息

2.1.1自信息的定義與含義

2.1.2條件自信息的定義與含義

2.2互信息

2.2.1互信息的定義與含義

2.2.2互信息的性質

2.3平均自信息(熵)

2.3.1熵的定義與含義

2.3.2熵函數的數學性質

2.3.3條件熵

2.3.4聯合熵

2.3.5各種熵之間的關係

2.3.6交叉熵和相對熵

2.4平均互信息

2.4.1平均互信息的定義與含義

2.4.2平均互信息的性質

2.4.3各種熵和平均互信息量之間的關係

2.5連續隨機變量的互信息和微分熵

2.5.1連續隨機變量的統計特性

2.5.2連續隨機變量的互信息

2.5.3連續隨機變量的微分熵

2.6本章小結

2.7習題

第3章離散信源

3.1離散信源的數學模型

3.2信源的分類

3.2.1無記憶信源

3.2.2有記憶信源

3.3離散無記憶信源

3.3.1離散無記憶信源及其熵

3.3.2離散無記憶信源的擴展信源及其熵

3.4馬爾可夫信源(有限記憶信源)

3.4.1馬爾可夫信源的定義

3.4.2有限狀態馬爾可夫鏈

3.4.3馬爾可夫信源的馬爾可夫鏈性質

3.4.4馬爾可夫信源的熵

3.5離散平穩信源

3.5.1平穩信源的概念

3.5.2平穩信源的熵

3.6信源的相關性和剩餘度

3.7本章小結

3.8習題

第4章離散信道

4.1離散信道的數學模型

4.2信道的分類

4.3離散無記憶信道

4.3.1離散無記憶信道的數學模型

4.3.2信道疑義度和噪聲熵

4.3.3信道的平均互信息及其含義

4.4信道的組合

4.5信道容量

4.5.1信息傳輸率

4.5.2信道容量的定義及含義

4.5.3三種特殊信道的容量

4.5.4對稱信道的容量

4.5.5一般信道的容量

4.5.6信源和信道的匹配

4.6本章小結

4.7習題

第5章連續信源和連續信道

5.1連續信源

5.1.1連續信源的數學模型

5.1.2連續信源的熵和互信息

5.2連續信道及其信道容量

5.2.1時間離散信道

5.2.2連續信道

5.3本章小結

5.4習題

第6章無失真信源編碼

6.1編碼的基本概念

6.1.1編碼器和譯碼器

6.1.2碼的分類

6.1.3N次擴展碼

6.2“無失真”的本質

6.3定長碼

6.4變長碼

6.4.1變長碼的概念

6.4.2變長碼的衡量指標

6.4.3變長碼的特點

6.4.4可譯碼和即時碼的判別

6.4.5無失真信源編碼定理(香農定理)

6.5霍夫曼碼

6.5.1二元霍夫曼碼

6.5.2多元霍夫曼碼

6.6算術編碼

6.6.1算術編碼的基本原理

6.6.2算術編碼方法

6.6.3算術譯碼方法

6.7LZW編碼

6.7.1LZW基本原理

6.7.2LZW編碼方法

6.8本章小結

6.9習題

第7章限失真信源編碼

7.1失真的度量

7.1.1失真函數和失真矩陣

7.1.2序列失真

7.1.3平均失真和保真度準則

7.2信息率失真函數

7.2.1信息率失真函數的定義和含義

7.2.2信息率失真函數的定義域和性質

7.2.3信息率失真函數和信道容量的關係

7.2.4限失真信源編碼定理(香農第三定理)

7.3量化編碼

7.3.1量化編碼的主要作用

7.3.2均勻量化

7.3.3量化

7.3.4矢量量化編碼

7.4預測編碼

7.4.1預測編碼的基本原理和方法

7.4.2預測編碼能夠限失真壓縮信源的原因

7.4.3DPCM編譯碼原理

7.5變換編碼

7.5.1變換編碼的基本原理

7.5.2變換編碼能夠限失真壓縮信源的原因

7.5.3變換編碼的廣泛應用

7.6本章小結

7.7習題

第8章信道編碼

8.1信道編碼的基本概念

8.1.1編譯碼規則、檢糾錯能力

8.1.2平均錯誤譯碼概率

8.2譯碼規則

8.3有噪信道編碼定理(香農第二定理)

8.4線性分組碼

8.4.1基本概念

8.4.2線性分組碼的性質

8.4.3線性分組碼的兩個重要參數——編碼效率和小漢明距離

8.4.4生成矩陣和監督矩陣

8.4.5對偶碼

8.4.6伴隨式、伴隨式的錯誤圖樣表示、根據伴隨式譯碼

8.4.7漢明碼

8.5循環碼

8.5.1循環碼的基本概念

8.5.2循環碼的生成多項式和監督多項式

8.5.3循環碼的譯碼

8.5.4BCH碼

8.5.5RS碼

8.6卷積碼

8.6.1卷積碼的基本概念和基本原理

8.6.2卷積碼的編碼

8.6.3卷積碼的矩陣表述

8.7突發錯誤的糾正

8.7.1基本概念

8.7.2級連碼

8.7.3交織碼

8.7.4Turbo碼

8.8移動通信中的新型信道編碼

8.9本章小結

8.10習題

附錄A凸函數與Jensen不等式

A.1一元函數的凸性

A.2函數凸性的判別

A.3Jensen不等式

A.4凸域和凸函數

A.5凸域中的Jensen不等式

附錄BBCH編碼表

參考文獻

姜楠，北京工業大學副教授。主要研究方向為信息安全和量子機器學習，主持教學項目3項，發表教學論文11篇，授權教學專利1項，主編教材1部，參編1部。獲得青年教師教學基本功比賽理工組三等獎和教案獎，獲得CIE2018中國IT教育博鰲論壇一等優秀論文。主持國家自然科學基金等項目，發表SCI論文30餘篇。

王健，北京交通大學副教授、博士生導師，北京交通大學計算機與信息技術學院信息安全系副主任。主要研究領域為網絡安全、大數據安全與分析、密碼應用。近年主持國家科技重大專項子課題等課題十餘項；參與完成國家發改委信息安全專項項目等課題二十多項。發表論文50多篇，其中SCI/EI論文30餘篇，出版圖書4部，授權專利2項，授權軟件著作權4項。