信道容量

信息論不研究信號在信道中傳輸的物理過程，它假定信道的傳輸特性是已知的，這樣信道就可以用抽象的數學模型來描述。在信息論中，信道通常表示成：{X,P(Y|X),Y}，即信道輸入隨機變量X、輸出隨機變量Y以及在輸入已知的情況下，輸出的條件概率分佈 P(Y|X)。根據信道的統計特性是否隨時間變化分為：

①恆參信道（平穩信道）：信道的統計特性不隨時間變化。衞星通信信道在某種意義下可以近似為恆參信道。

②隨參信道（非平穩信道）：信道的統計特性隨時間變化。如短波通信中，其信道可看成隨參信道

信道容量是信道的一個參數，反映了信道所能傳輸的最大信息量，其大小與信源無關。對不同的輸入概率分佈，互信息一定存在最大值。我們將這個最大值定義為信道的容量。一但轉移概率矩陣確定以後，信道容量也完全確定了。儘管信道容量的定義涉及到輸入概率分佈，但信道容量的數值與輸入概率分佈無關。我們將不同的輸入概率分佈稱為試驗信源，對不同的試驗信源，互信息也不同。其中必有一個試驗信源使互信息達到最大。這個最大值就是信道容量。

信道容量有時也表示為單位時間內可傳輸的二進制位的位數（稱信道的數據傳輸速率，位速率），以位/秒（b/s）形式予以表示，簡記為bps。

通信的目的是為了獲得信息，為度量信息的多少（信息量），我們用到了熵這個概念。在信號通過信道傳輸的過程中，我們涉及到了兩個熵，發射端處信源熵——即發端信源的不確定度，接收端處在接收信號條件下的發端信源熵——即在接收信號條件下發端信源的不確定度。接收到了信號，不確定度小了，我們也就在一定程度上消除了發端信源的不確定性，也就是在一定程度上獲得了發端信源的信息，這部分信息的獲取是通過信道傳輸信號帶來的。如果在通信的過程中熵不能夠減小（不確定度減小）的話，也就沒有通信的必要了。最理想的情況就是在接收信號條件下信源熵變為0（不確定度完全消失），這時，發端信息完全得到。

通信信道，發端 X，收端 Y。從信息傳輸的角度看，通過信道傳輸了I(X;Y)=H(X)-H(X|Y），（接收Y前後對於X的不確定度的變化）。I該值與兩個概率有關， p(x),p(y|x），特定信道轉移概率一定，那麼在所有 p(x) 分佈中，max I(X;Y）就是該信道的信道容量C（互信息的上凸性） ^[1]  。

信道是由輸入集A、輸出集B和條件概率P(y│x），y∈B,x∈A所規定的。當B是離散集時，歸一性要求就是（圖1）當B是連續集時，P(y│x）應理解為條件概率密度，上式就成為積分形式。如A和B都是離散集，信道所傳送的信息率（每符號）就是輸出符號和輸入符號之間的互信息（圖2）

互信息與P(y│x）有關，也與輸入符號的概率P(x）有關，後者可由改變編碼器來變動。若能改變P(x）使I(X;Y）最大，就能充分利用信道傳輸信息的能力，這個最大值就稱為單用户信道容量C，即 （圖3）式中∑為所有允許的輸入符號概率分佈的集。

當A或B是連續集時，相應的概率應理解為概率密度，求和號應改為積分，其他都相仿。

多用户信道容量問題要複雜一些。以二址接入信道為例， 這種信道有兩個輸入 X2∈A1和X2∈A2，分別與兩個信源聯結，發送信息率分別為R1和R2；有一個輸出Y，用它去提取這兩個信源的信息。若信道的條件概率為P(y│x1,x2），則（圖4）式中I(X1;Y│X2）為條件互信息，就是當X2已確知時從Y中獲得的關於X1的信息； I（X2;Y│X1）的意義相仿；I(X1,X2;Y）為無條件互信息，就是從Y中獲得的關於X1和X2的信息。E1和 E2分別為所有允許的輸入符號的概率分佈P1(x1）和P2(x2）的集。

當X1和X2相互獨立時，這些條件互信息要比相應的無條件互信息大，因此兩個信息率R1和R2的上界必為上面三個式子所限制。若調整P1(x1）和P2(x2）能使這些互信息都達到最大，就得到式中的C1，C2，C0。（圖5）因此R1和R2的範圍將如圖中的一個截角四邊形區域，其外圍封閉線就是二址接入信道的容量上界。m址接入信道有類似的結果。更一般的多用户的情況還要複雜。

要使信道容量有確切的含義，尚須證明相應的編碼定理，就是説當信息率低於信道容量時必存在一種編碼方法，使之在信道中傳輸而不發生錯誤或錯誤可任意逼近於零。已經過嚴格證明的只有無記憶單用户信道和多用户信道中的某些多址接入信道和退化型廣播信道。對某些有記憶信道，只能得到容量的上界和下界，確切容量尚不易規定。

信道的輸入、輸出都取值於離散符號集，且都用一個隨機變量來表示的信道就是離散單符號信道。由於信道中存在干擾，因此輸入符號在傳輸中將會產生錯誤，這種信道干擾對傳輸的影響可用傳遞概率來描述。

信道傳遞概率通常稱為前向概率。它是由於信道噪聲引起的，所以通常用它描述信道噪聲的特性。

有時把p(x）稱為輸入符號的先驗概率。而對應的把p(x|y）稱為輸入符號的後驗（後向）概率。

平均互信息 I(X;Y) 是接收到輸出符號集Y後所獲得的關於輸入符號集X的信息量。信源的不確定性為H(X），由於干擾的存在，接收端收到 Y後對信源仍然存在的不確定性為H(X|Y），又稱為信道疑義度。信宿所消除的關於信源的不確定性，也就是獲得的關於信源的信息為 I(X;Y），它是平均意義上每傳送一個符號流經信道的信息量，從這個意義上來説，平均互信息又稱為信道的信息傳輸率，通常用 R 表示。

有時我們所關心的是信道在單位時間內平均傳輸的信息量。如果平均傳輸一個符號為t秒，則信道平均每秒鐘傳輸的信息量為Rt一般稱為信息傳輸速率。

對於固定的信道，總存在一種信源（某種輸入概率分佈），使信道平均傳輸一個符號接收端獲得的信息量最大，也就是説對於每個固定信道都有一個最大的信息傳輸率，這個最大的信息傳輸率即為信道容量，而相應的輸入概率分佈稱為最佳輸入分佈。

信道容量是信道傳送信息的最大能力的度量，信道實際傳送的信息量必然不大於信道容量。

要使信道容量有確切的含義，尚須證明相應的編碼定理，就是説當信息率低於信道容量時必存在一種編碼方法，使之在信道中傳輸而不發生錯誤或錯誤可任意逼近於零。已經過嚴格證明的只有無記憶單用户信道和多用户信道中的某些多址接入信道和退化型廣播信道。對某些有記憶信道，只能得到容量的上界和下界，確切容量尚不易規定 ^[2]  。

為了評價實際信道的利用率，應具體計算已給信道的容量。這是一個求最大值的問題。由於互信息對輸入符號概率而言是凸函數，其極值將為最大值，因此這也就是求極值的問題。對於離散信道，P(x）是一組數，滿足非負性和歸一性等條件，可用拉格朗日乘子法求得條件極值。對於連續信道，P(x）是一函數，須用變分法求條件極值。但是對於大部分信道，這些方法常常不能得到顯式的解，有時還會得到不允許的解，如求得的P(x）為負值等。為了工程目的，常把信道近似表示成某些易於解出容量的模式，如二元對稱信道和高斯信道。

對於其他信道的容量計算曾提出過一些方法，但都有較多的限制。比較通用的解法是迭代計算，可藉助計算機得到較精確的結果。

對於連續信道，只需把輸入集和輸出集離散化，就仍可用迭代公式來計算。當然如此形成的離散集，包含的元的數目越多，精度越高，計算將越繁。對於信息論中的其他量，如信息率失真函數，可靠性函數等，都可以用類似的方法得到的各種迭代公式來計算。

從求信道容量的問題實際上是在約束條件下求多元函數極值的問題，在通常情況下，計算量是非常大的。下面我們介紹一般離散信道的平均互信息達到信道容量的充要條件，在某些情況下它可以幫助我們較快地找到極值點。（定理略去）

信道容量定理只給出了達到信道容量時，最佳輸入概率分佈應滿足的條件，並沒有給出最佳輸入概率分佈值，也沒有給出信道容量的數值。另外，定理本身也隱含着達到信道容量的最佳分佈不一定是唯一的，只要輸入概率分佈滿足充要條件式，就是信道的最佳輸入分佈。在一些特殊情況下，我們常常利用這一定理尋求輸入分佈和信道容量值。

對於給定離散無記憶信道，其符號轉移概率分佈已定，通過適當改變輸入符號集上的概率分佈，可使傳信率達到最大值，即該信道容量公式 如右圖8 。其中E是輸入符號集上所有可能概率分佈的集。

對於連續信道，應將式中概率分佈換成概率密度，求和號換成積分號，即得出連續信道的容量公式。

容量的計算是在特定約束條件下，求傳信率函數I（X；Y）的極大值問題。對離散信道的約束條件是輸入符號的概率

，

對於連續信道，除了概率約束條件外，還可有不同的約束條件，如平均功率或峯值功率受限。由於I（X；Y）是輸入分佈（或密度）的上凸函數，故其極值即為最大值，可見，求容量在於求I（X；Y）的條件極值。簡單情況下，離散信道可用拉格朗日乘子法求解，連續信道可用變分法求解。R．E．勃拉赫特提出的迭代算法可精確求解一般離散無記憶信道的容量，也可用來近似計算連續信道的容量以及率失真函數和可靠性函數。

常見的二元對稱信道(BSC)的容量公式如圖9 ，式中ε是符號出差錯的概率。常見的加性白高斯噪聲(AWGN)信道的容量公式如圖10 ，式中S是信道允許的平均功率，N0是白高斯噪聲的單邊功率譜密度，F是信道許用帶寬。當F→∞時有

。令Eb表示每比特信息佔有的能量，則S=REb，R是傳信率。由圖11及編碼定理有

，通稱-1．6dB為仙農極限，它表示在無限帶寬的AWGN信道中，傳送1bit信息所需的最小Eb/N0。

實際離散信道的輸入和輸出常常是隨機變量序列，用隨機矢量來表示，稱為離散多符號信道。

若在任意時刻信道的輸出只與此時刻信道的輸入有關，而與其他時刻的輸入和輸出無關，則稱之為離散無記憶信道，簡稱為DMC(discrete memoryless channel）。

輸入、輸出隨機序列的長度為N的離散無記憶平穩信道通常稱為離散無記憶信道的N次擴展信道。

對於離散無記憶N次擴展信道，當信源是平穩無記憶信源時，其平均互信息等於單符號信道的平均互信息的N倍。

當信源也是無記憶信源並且每一時刻的輸入分佈各自達到最佳輸入分佈時，才能達到這個信道容量NC。

前面我們分析了單符號離散信道和離散無記憶信道的擴展信道。實際應用中常常會遇到兩個或更多個信道組合在一起使用的情況。例如，待發送的消息比較多時，可能要用兩個或更多個信道並行發送，這種組合信道稱為並聯信道；有時消息會依次地通過幾個信道串聯發送，例如無線電中繼信道，數據處理系統，這種組合信道稱為級聯信道。在研究較複雜信道時，為使問題簡化，往往可以將它們分解成幾個簡單的信道的組合。這一節我們將討論這兩種組合信道的信道容量與其組成信道的信道容量之間的關係。

獨立並聯信道的信道容量才等於各信道容量之和。

級聯信道是信道最基本的組合形式，許多實際信道都可以看成是其組成信道的級聯。兩個單符號信道組成的最簡單的級聯信道X→Y→Z 組成一個馬爾可夫鏈。根據馬爾可夫鏈的性質，級聯信道的總的信道矩陣等於這兩個串接信道的信道矩陣的乘積。求得級聯信道的總的信道矩陣後，級聯信道的信道容量就可以用求離散單符號信道的信道容量的方法計算 ^[3]  。

數字信道是一種離散信道，它只能傳送離散值的數字信號，信道的帶寬決定了信道中能不失真的傳輸脈序列的最高速率 ^[2]  。