信息論：基礎理論與應用

《信息論:基礎理論與應用(第3版)》是普通高等教育“十一五”國家級規劃教材,電子信息科學與工程類專業精品教材，是普通高等教育“十一五”國家級規劃教材，並被教育部評為“2008年度普通高等教育精品教材”。 《信息論:基礎理論與應用(第3版)》系統地論述了香農信息論基本理論及某些應用問題，基本覆蓋了信息論的各個方面的內容。內容包括：信息的定義和度量；各類離散信源和連續信源的信息熵；有記憶、無記憶、離散和連續信道的信道容量；香農信息論的三個基本定理：無失真信源編碼定理、限失真信源編碼定理和信道編碼定理；網絡信息理論及保密系統的信息理論。《信息論:基礎理論與應用(第3版)》還介紹了無失真數據壓縮（即無失真信源編碼）的實用的編碼算法與方法，以及信道糾錯編碼的基本內容和分析方法。《信息論:基礎理論與應用(第3版)》最後還簡要地介紹了信息論與熱力學、光學、統計學、生物學和醫學等其他學科交叉結合的應用內容。 《信息論:基礎理論與應用(第3版)》深入淺出、概念清晰、內容豐富、系統性和可讀性強，並具實際應用價值。《信息論:基礎理論與應用(第3版)》可作為高等院校信息工程、通信工程、雷達、計算機、電子學、信息與計算科學等相關專業的本科生、研究生的信息論課程教材或教學參考書，也可供數學、物理、生物學、系統科學、管理科學等專業研究生及從事信息科學理論、技術、方法研究的科研工作者和工程技術人員參考。 ^[1] 

第1章 緒論

1.1 信息的概念

1.2 信息論研究的對象、目的和內容

1.3 信息論發展簡史與信息科學

第2章 離散信源及其信息測度

2.1 信源的數學模型及分類

2.2 離散信源的信息熵

2.2.1 自信息

2.2.2 信息熵

2.3 信息熵的基本性質

2.4 信息熵的唯一性定理

2.5 離散無記憶的擴展信源

2.6 離散平穩信源

2.6.1 離散平穩信源的數學定義

2.6.2 二維離散平穩信源及其信息熵

2.6.3 離散平穩信源的極限熵

2.7 馬爾可夫信源

2.7.1 馬爾可夫信源和m階馬爾可夫信源的定義

2.7.2 馬爾可夫信源和m階馬爾可夫信源的信息熵

2.8 信源剩餘度與自然語言的熵

2.9 意義信息和加權熵

小結

習題

第3章 離散信道及其信道容量

3.1 信道的數學模型及分類

3.1.1 信道的分類

3.1.2 離散信道的數學模型

3.1.3 單符號離散信道的數學模型

3.2 平均互信息及平均條件互信息

3.2.1 信道疑義度

3.2.2 平均互信息

3.2.3 平均條件互信息

3.3 平均互信息的特性

3.4 信道容量及其一般計算方法

3.4.1 離散無噪信道的信道容量

3.4.2 對稱離散信道的信道容量

3.4.3 準對稱信道的信道容量

3.4.4 一般離散信道的信道容量

3.5 信道容量的迭代算法

3.5.1 信道容量的迭代算法

3.5.2 信道容量迭代算法的收斂性

3.6 離散無記憶擴展信道及其信道容量

3.7 獨立並聯信道及其信道容量

3.8 串聯信道的互信息和數據處理定理

3.9 信源與信道的匹配

小結

習題

第4章 波形信源和波形信道

4.1 波形信源的統計特性和離散化

4.2 連續信源和波形信源的信息測度

4.2.1 連續信源的差熵

4.2.2 連續平穩信源和波形信源的差熵

4.2.3 兩種特殊連續信源的差熵

4.3 連續信源熵的性質及最大差熵定理

4.3.1 差熵的性質

4.3.2 具有最大差熵的連續信源

4.4 連續信源熵的變換

4.4.1 座標變換後概率密度函數的變化

4.4.2 座標變換後差熵的變化

4.5 熵功率

4.6 連續信道和波形信道的分類

4.6.1 按信道輸入和輸出的統計特性分類

4.6.2 按噪聲的統計特性分類

4.6.3 按噪聲對信號的作用功能分類

4.7 連續信道和波形信道的信息傳輸率

4.7.1 基本連續信道的平均互信息

4.7.2 多維連續信道的平均互信息

4.7.3 波形信道的信息傳輸率

4.7.4 連續信道平均互信息的特性

4.8 連續信道和波形信道的信道容量

4.8.1 單符號高斯加性信道

4.8.2 單符號非高斯加性信道

4.8.3 多維無記憶高斯加性連續信道

?4.8.4 多維有記憶高斯加性連續信道

4.8.5 限帶高斯白噪聲加性波形信道

4.8.6 有色高斯加性波形信道

4.8.7 香農公式的重要實際指導意義

小結

習題

第5章 無失真信源編碼定理

第6章 有噪信道編碼定理

第7章 保真度準則下的信源編碼

第8章 無失真的信源編碼

第9章 信道的糾錯編碼

第10章 網絡信息論

第11章 保密系統的基本信息理論

第12章 信息論與其他學科的關係和應用

附錄A凸函數和詹森不等式

附錄B馬爾可夫鏈

附錄C熵函數的函數表

附錄D所用符號及編寫説明

參考書目和文獻

《信息論:基礎理論與應用》(第2版)深入淺出，概念清晰，內容豐富，系統性和可讀性強，並具有實際應用價值。《信息論:基礎理論與應用》(第2版)可作為高等院校信息工程、通信工程、雷達、計算機、電子學、信息與計算科學相關專業的本科生、研究生的信息論課程教材或教學參考書，也可供數學、物理、生物學、系統科學、管理科學等專業研究等專業研究生及從事信息科學理論、技術、方法研究的科研工作者和工程技術人員參考。

第1章 緒論

1.1 信息的概念

1.2 信息論研究的對象、目的和內容

1.3 信息論發展簡史與信息科學

第2章 離散信源及其信息測度

2.1 信源的數學模型及分類

2.2 離散信源的信息熵

2.2.1 自信息

2.2.2 信息熵

2.3 信息熵的基本性質

2.4 信息熵的唯一性定理

2.5 離散無記憶的擴展信源

2.6 離散平穩信源

2.6.1 離散平穩信源的數學定義

2.6.2 二維離散平穩信源及其信息熵

2.6.3 離散平穩信源的極限熵

2.7 馬爾可夫信源

2.7.1 馬爾可夫信源和m階馬爾可夫信源的定義

2.7.2 馬爾可夫信源和m階馬爾可夫信源的信息熵

2.8 信源剩餘度與自然語言的熵

2.9 意義信息和加權熵

小結

習題

第3章 離散信道及其信道容量

3.1 信道的數學模型及分類

3.1.1 信道的分類

3.1.2 離散信道的數學模型

3.1.3 單符號離散信道的數學模型

3.2 平均互信息及平均條件互信息

3.2.1 信道疑義度

3.2.2 平均互信息

3.2.3 平均條件互信息

3.3 平均互信息的特性

3.4 信道容量及其一般計算方法

3.4.1 離散無噪信道的信道容量

3.4.2 對稱離散信道的信道容量

3.4.3 準對稱信道的信道容量

3.4.4 一般離散信道的信道容量

3.5 信道容量的迭代算法

3.5.1 信道容量的迭代算法

3.5.2 信道容量迭代算法的收斂性

3.6 離散無記憶擴展信道及其信道容量

3.7 獨立並聯信道及其信道容量

3.8 串聯信道的互信息和數據處理定理

3.9 信源與信道的匹配

小結

習題

第4章 波形信源和波形信道

4.1 波形信息源統計特性和離散化

4.2 連續信源和波形信源的信息測度

4.2.1 連續信源的差熵

4.2.2 連續平穩信源和波形信源的差熵

4.2.3 兩種特殊連續信源的差熵

4.3 連續信源熵的性質及最大差熵定理

4.3.1 差熵的性質

4.3.2 具有最大差熵的連續信源

4.4 連續信源熵的變換

4.4.1 座標變換後概率密度函數的變化

4.4.2 座標變換後差熵的變化

4.5 熵功率

4.6 連續信道和波形信道的分類

4.6.1 按信道輸入和輸出的統計特性分類

4.6.2 按噪聲的統計特性分類

4.6.3 按噪聲對信號的作用功能分類

4.7 連續信道和波形信道的信息傳輸率

4.7.1 基本連續信道的平均互信息

4.7.2 多維連續信道的平均互信息

4.7.3 波形信道的信息傳輸率

4.7.4 連續信道平均互信息的特性

4.8 連續信道和波形信道的信道容量

4.8.1 單符號高斯加性信道

4.8.2 單符號非高斯加性信道

4.8.3 多維無記憶高斯加性連續信道

4.8.4 多維有記憶高斯加性連續通信

4.8.5 限帶高斯白噪聲加性波形信道

4.8.6 有色高斯加性波形信道

4.8.7 香農公式的重要實際指導意義

小結

習題

第5章 無失真信源編碼定理

第6章 有噪信道編碼定理

第7章 保真度準則下的信源編碼

第8章 無失真的信源編碼

第9章 信道的糾錯編碼

第10章 網絡信息論

第11章 保密系統的基本信息理論

第12章 信息論與其他學科的關係和應用

附錄

參考書目和文獻