信道編碼定理

設R是信息傳輸的速率，C是離散無記憶信道的信道容量，ε>0是任意小的數，則只要R<C就總存在碼字長為N，碼字數為M=2NR的分組碼使譯碼的平均差錯概率Pe<ε。

通常思路：

構造一個理想的好碼，

定義一種譯碼準則，

計算該好碼經過譯碼後的誤碼率

問題：

構建極其複雜且無具體方法，

N值很大時，誤碼率計算困難

香農採取的方法:

用隨機編碼方法得到所有可能碼的集合,在其中隨機選擇一個碼作為信道碼,利用聯合典型序列譯碼,利用大數定理計算在集合平均意義上的該碼性能

從早期的粗糙定性證明到後來給定精確差錯概率指數上下限的嚴格數學證明。許多類型信道的編碼定理已獲證明。但是許多信道的編碼定理，其證明還有待於完善，或尚未得到證明，甚至有些信道的容量概念還不清楚。

通常採用隨機編碼的概念來證明編碼定理。它是以一定的概率分佈隨機地選取M個碼字構成一種編碼，從中選出一個碼字來代表待傳送的N個符號的信息序列，通過信道送出。然後計算出隨機編碼集合上的平均譯碼錯誤概率(差錯率)

的上、下限 如圖1。

其中E₁(R）和E₂(R)分別是

的上、下限指數，它們隨信率R的變化如圖所示。這揭示了通信系統的可靠性

、有效性(R/C)和複雜性(N）之間的關係，為通信系統設計提供了理論依據。E₁(R）和E₂(R)又稱為可靠性函數。當R<C時，E₁(R）和E₂(R)是非負的，故當N→∞時有

。既然所有編碼的平均誤差可接近零，則必然存在一種編碼的誤差至少不劣於此平均值；反之，當R>C時，E₁(R）和E₂(R)趨於零，則，就不可能存在一種不出差錯的編碼，這樣就證明了信道編碼定理。

(1)通過編碼可以實現有噪信道上可靠的信息傳輸

(2)有噪信道可靠傳輸的信息率的上界是信道容量C

(3)在碼長及發送信息速率一定時，可以通過增大信道容量，使錯誤概率減小

(4)在信道容量及發送信息速率一定時，可以通過增加碼長，使錯誤概率下降

在資源、可靠性和傳信量之間選擇一個好的工作點（有時還要考慮延時）。(資源指的提供信息傳輸所付出的代價,包括頻率、時間、空間、功率等等。但不包括實現複雜度,一個好的編碼就是要充分利用資源，傳遞儘可能多的信息.)

給定資源和可靠性要求，通過信道編碼儘量提高傳輸速率（例：多電平編碼）

給定對信息傳輸的速率和可靠性要求，通過信道編碼儘量減少資源開銷（例：擾亂編碼）

給定資源和傳輸速率，通過編碼提高可靠性（例：檢、糾錯編碼）

(1)按碼的結構分:線性碼,線性分組碼（羣碼）,卷積碼（線性樹碼）,非線性碼

(2)按抗干擾模式分:抗隨機差錯碼,抗突發差錯碼

(3)按對錯誤的處理方式分:檢錯碼——應用於ARQ（反饋重發）方式；糾錯碼——應用於FEC（前向糾錯）方式；檢糾錯碼——應用於HEC（混合糾錯）方式。