數據與信息

^[1]  數據和信息之間是相互聯繫的。數據是反映客觀事物屬性的記錄，是信息的具體表現形式。數據經過加工處理之後，就成為信息；而信息需要經過數字化轉變成數據才能存儲和傳輸。

那麼，數據是否就是指可以存儲和傳輸的信息呢？未必！數據和信息是有區別的。從信息論的觀點來看，描述信源的數據是信息和數據冗餘之和，即：數據=信息+數據冗餘。

數據是數據採集時提供的，信息是從採集的數據中獲取的有用信息。

由此可見，信息可以簡單地理解為數據中包含的有用的內容。不嚴格的説，“不知道的東西，你知道了，就獲得了一個信息”。

也可以説數據在未被接收對象獲取前可以稱為數據，一旦被對象獲取，即可稱為信息。

上面定性分析了數據和信息之間的區別和聯繫，下面對數據和信息進行定量分析。數據量和信息量之間會有什麼聯繫呢？是不是數據量越大，其中包含的信息量就越多呢？不一定。比如，有人説“人的嘴巴上方有鼻子，鼻子上方有眼睛”，因為這是預料中的事，所以你從這個消息中得到的信息量很少。但如果有人説“人的鼻子上方有嘴巴，嘴巴上方有眼睛”，就會讓人很震驚，因為這是預料之外的，這樣的信息量就很大。這説明了：一個消息越不可預測，它所含的信息量就越大。

事實上，信息的基本作用就是消除人們對事物瞭解的不確定性。信息量是指從N個相等的可能事件中選出一個事件所需要的信息度量和含量。從這個定義看，信息量跟概率是密切相關的。在概率論中，用P(x)表示在N個相等的可能事件出現某一個事件的概率，即P(x)=1/N。信息量I(x)定義為：

I(x)=log₂N = -log₂(1/N )= -log₂P(x)

結合概率論知識，推而廣之，可以用下面的公式——稱之為熵H（x）公式來表示一大堆數據帶來的平均信息量。

注意：這個平均信息量不是算術平均，是概率論的統計平均——數學期望值。