聯合熵

兩個變量

和

的聯合信息熵定義為 ^[1]  ：

其中

和

是

和

的特定值，相應地，

是這些值一起出現的聯合概率, 若

為0，則

定義為0。

對於兩個以上的變量

，該式的一般形式為：

其中

是

的特定值，相應地，

是這些變量同時出現的概率，若

為0，則

被定義為0.

一集變量的聯合熵大於或等於這集變量中任一個的獨立熵。

一集變量的聯合熵少於或等於這集變量的獨立熵之和。這是次可加性的一個例子。該不等式有且只有在

和

均為統計獨立的時候相等。

在條件熵的定義中，使用了聯合熵

互信息的定義中也出現了聯合熵的身影：

在量子信息理論中， 聯合熵被擴展到聯合量子熵。