-
最大離散熵定理
鎖定
最大離散熵定理(maximal discrete entropytheorem)離散信源的熵達到最大值的一個重要定理。
- 中文名
- 最大離散熵定理
- 外文名
- maximal discrete entropytheorem
- 屬 性
- 通信術語
- 相 關
- 熵
- 分 類
- 定理
最大離散熵定理簡介
該定理斷言:對於具有q個符號的離散信源,當q個信源符號出現的可能性相等時,信源的熵達到最大值,即
稱信源中的事件為等概率事件。即等概率分佈的信源其平均不確定性最大。
最大離散熵定理最大熵原理
最大熵原理是一種選擇隨機變量統計特性最符合客觀情況的準則,也稱為最大信息原理。隨機量的概率分佈是很難測定的,一般只能測得其各種均值(如數學期望、方差等)或已知某些限定條件下的值(如峯值、取值個數等),符合測得這些值的分佈可有多種、以至無窮多種,通常,其中有一種分佈的熵最大。選用這種具有最大熵的分佈作為該隨機變量的分佈,是一種有效的處理方法和準則。這種方法雖有一定的主觀性,但可以認為是最符合客觀情況的一種選擇。在投資時常常講不要把所有的雞蛋放在一個籃子裏,這樣可以降低風險。在信息處理中,這個原理同樣適用。在數學上,這個原理稱為最大熵原理。
從這個意義上講,那麼最大熵原理的實質就是,在已知部分知識的前提下,關於未知分佈最合理的推斷就是符合已知知識最不確定或最隨機的推斷,這是我們可以作出不偏不倚的選擇,任何其它的選擇都意味着我們增加了其它的約束和假設,這些約束和假設根據我們掌握的信息無法作出。
最大離散熵定理相關研究
一種結合圖像離散熵和自組織神經網絡的邊緣檢測方法。首先,用離散熵選定閾值來分割圖像的平滑區域和灰度變化劇烈的區域,用來減少計算量;其次將灰度圖像轉化為理想二值像素模式;定義了6個邊緣類型和6個原型向量。將這些邊緣向量作為神經網絡的輸入,通過SOM對其進行邊緣分類從而獲得邊緣圖像。最後將斑點邊緣從邊緣圖像中去除即得到理想的邊緣圖像
[1]
。