香農信息論

信息論將信息的傳遞作為一種統計現象來考慮，給出了估算通信信道容量的方法。信息傳輸和信息壓縮是信息論研究中的兩大領域。這兩個方面又由信息傳輸定理、信源－信道隔離定理相互聯繫。

香農被稱為是“信息論之父”。人們通常將香農於1948年10月發表於《貝爾系統技術學報》上的論文《A Mathematical Theory of Communication》（通信的數學理論）作為現代信息論研究的開端。這一文章部分基於哈里·奈奎斯特和拉爾夫·哈特利先前的成果。在該文中，香農給出了信息熵（以下簡稱為“熵”）的定義：香農

這一定義可以用來推算傳遞經二進制編碼後的原信息所需的信道帶寬。熵度量的是消息中所含的信息量，其中去除了由消息的固有結構所決定的部分，比如，語言結構的冗餘性以及語言中字母、詞的使用頻度等統計特性。

信息論中熵的概念與物理學中的熱力學熵有着緊密的聯繫。玻耳茲曼與吉布斯在統計物理學中對熵做了很多的工作。信息論中的熵也正是受之啓發。

互信息(Mutual Information)是另一有用的信息度量，它是指兩個事件集合之間的相關性。兩個事件X和Y的互信息定義為：

I(X,Y) = H(X) + H(Y) - H(X,Y)

其中H(X,Y) 是聯合熵(Joint Entropy)，其定義為：

互信息與多元對數似然比檢驗以及皮爾森χ2校驗有着密切的聯繫。

香農信息論研究的主要內容，包含如下問題：

（1）什麼是信息？如何度量？

（2）在給定的信道中，信息傳輸有沒有極限？

（3）信息能否被壓縮或恢復？極限條件是什麼？

（4）從實際環境中提取信息，極限條件是什麼？

（5）在允許一定失真的條件下，信息能否被更大程度地壓縮？極限條件是什麼？

（6）設計什麼樣的系統才能達到上述極限？

（7）現實中，接近極限的設備是否存在？ ^[1] 

概括的講，香農信息論是以概率論、隨機過程為基本研究工具，研究廣義通信系統的整個過程，而不是整個環節，並以編、譯碼器為重點，其關心的是最優系統的性能及如何達到該性能（並不具體設計環節，也不研究信宿）。香農信息論方面值得注意的研究方向有信息概念的深化問題、信息失真理論的發展及在數據壓縮中的應用、以計算機為中心的信息處理系統的基本理論等。 ^[1] 

香農信息論中的關鍵之處在於香農利用抽象化的方法，對現實中各種不同的通信背景下的根本問題進行了刻畫和抽象，主要依賴3種觀點和方法，即形式化假説、不確定性和非決定論。建立了相對普通的關於通信的數學模型，用數學方法定量描述信息，從而得出了大量的定量的結論，特別是三大極限定理，均是對通信中重要問題的重要度量的極限結論。 ^[2] 

香農説：“通信的基本問題，是在消息的接收端精確地或近似地複製發送端所挑選的信息。通信消息是有意義的，即是説，它按某種關係與某些物質或概念的實體聯繫着。通信的語義方面的問題與工程問題是沒有關係的。”

可提出如下假設：雖然信息的語義因素和語用因素對於廣義信息來説並不是次要因素，但對於作為“通信的消息”來理解的狹義信息時，可以先把語義和語用因素擱置起來，假定各種信息的語義信息量和語用信息量恆定不變，而只單純考慮信息的形式因素。比如信息包含不同的語義，而且語義也存在遠近等不同；有些信息可能是有益的，有些可能是有害的，但是信息論暫時不管這些，以放棄一些複雜的“包袱”，這樣才能便於建立模型、減少參數。 ^[2] 

這種通信工程的“形式化”假説，對複雜的信息問題進行分解，大膽地去掉了複雜、具有個性化特點的、難於處理的消息的語義和語用因素，巧妙地保留了容易用數學描述的通用形式，因此，這使應用數學工具定量度量信息成為可能。此外，通過形式化的方法從通信問題中提取最為簡練的共性問題，這使得通信問題昇華為能夠解決相對廣泛的信息問題的理論，而不是單純的個別應用，這種抽象使得所有消息和數據都可以採用二進制數據的形式進行存儲、傳輸和處理，使得信息化可以滲透到各行各業，給當今社會帶來深遠的影響。 ^[2] 

我們知道，在科學史上，直到20世紀初，拉普拉斯的決定論的觀點始終處於統治的地位。這種觀點認為，世界上一切事物的運動都嚴格地遵從一定的機械規律。因此，只要知道了它的原因，就可以唯一地確定它的結果；反過來，只要知道了它的結果，就可以唯一地確定它在各個時刻的運動狀態。這種觀點只承認必然性，排斥和否認偶然性。 ^[2] 

香農並沒有墨守成規，他説：“重要的是，一個實際的消息，總是從可能發生的消息集合中選擇出來的。因此，系統必須設計得對每一種選擇都能工作，而不是隻適合工作於某一種選擇。因為，各種消息的選擇是隨機的，設計者事先無法知道什麼時候會選擇什麼消息來傳送。”這種“非決定論”觀點是對通信活動的總的認識觀，它從原則上回答了應採用什麼樣的數學工具來解決信息度量的問題，概率、集合的理論和方法由此得以在信息論中廣泛應用。這也使得信息論可以解決給定參數下的一類問題。 ^[2] 

香農指出：“人們只有在兩種情況下有通信的需要。其一，是自己有某種形式的消息要告知對方，而估計對方不知道這個消息；其二，是自己有某種疑問要詢問對方，而估計對方能做出一定的解答。”這裏的不知道和疑問是在一般情況下歸結為存在某種知識上的“不確定”。對於第一種情況，是希望消除對方的不確定性，對於第二種情況，則是請求對方消除不確定性，所以通信的作用是通過消息的傳遞，使接收者從收到的消息中獲取一樣東西，因而消除了通信前存在的“不確定性”。這種東西就是信息。這樣，我們有理由給信息一個明確的定義：“信息就是用來消除不確定的東西。”進而，可合理地推斷：通信後接收者獲取的信息在數量上等於通信前後“不確定性”的消除量。這就是信息論中度量信息的基本觀點。 ^[2] 

那麼，很自然的接着問這樣一個問題：“不確定性”本身是否可度量？是否可用數學方法來表示呢？我們知道不確定性是與“多種結果的可能性”相聯繫的，而在數學上，這些“可能性”正是以概率來度量的。概率大，即“可能性”大；概率小，“可能性”小。顯然，“可能性”大，即意味着“不確定性”小；“可能性”小，即意味着“不確定性”大。由此可見，“不確定性”與概率大小存在着一定的聯繫，“不確定性”應該是概率的某一函數；那麼，“不確定性”的消除量（減少量），也就是狹義信息量，也一定可由概率的某一函數表示。這樣就完全解決了作為“通信的消息”來理解的“狹義信息”的度量問題。這一點與非決定論有相似性。 ^[2] 

以上三個觀點可以説是信息論的三大理論支柱。信息論的建立，在很大程度上澄清了通信的基本問題。它以概率論為工具，刻劃了信源產生信息的數學模型，導出了度量信息的數學公式；同時，描述了信道傳輸信息的過程，給出了表徵信道傳輸能力的容量公式；此外，它還建立了一組信息傳輸的編碼定理，論證了信息傳輸的一些基本界限。這些成果的取得，一方面使通信技術從經驗走向科學，開闢了通信科學的新紀元。同時，也為整個信息科學的形成和發展奠定了必要的理論基礎。但是我們也應該看到，在形式化的各種假設和通信系統的各種模型中，均存在各種各樣的前提和假設，致使信息論只適合於一定的範圍，給這個理論帶來一定的侷限性。 ^[2] 

編碼學

密碼學與密碼分析學

數據傳輸

數據壓縮

檢測理論

估計理論

政治學（政治溝通）

信息論概述

信息論是一門用數理統計方法來研究信息的度量、傳遞和變換規律的科學。它主要是研究通訊和控制系統中普遍存在着信息傳遞的共同規律以及研究最佳解決信息的獲限、度量、變換、儲存和傳遞等問題的基礎理論。