联合熵

独立的(H(X),H(Y)), 联合的(H(X,Y)), 以及一对带有互信息 I(X; Y) 的相互关联的子系统 X,Y 的条件熵。

联合熵是一集变量之间不确定性的衡量手段。

定义

两个变量$X$ 和 $Y$ 的联合信息熵定义为：

$\mathrm{H}(X,Y)=-\sum _x\sum _{y}P(x,y){\log }_2[P(x,y)]$

其中 $x$ 和 $y$ 是 $X$ 和 $Y$的特定值, 相应地, $P(x,y)$ 是这些值一起出现的联合概率, 若$P(x,y)=0$ ，则$P(x,y){\log }_2[P(x,y)]$ 定义为0。

对于两个以上的变量 $X_1,...,X_n$ ，该式的一般形式为：

$\mathrm{H}(X_1,...,X_n)=-\sum _{x_1}...\sum _{x_n}P(x_1,...,x_n){\log }_2[P(x_1,...,x_n)]$

其中 $x_1,...,x_n$ 是 $X_1,...,X_n$ 的特定值，相应地，$P(x_1,...,x_n)$ 是这些变量同时出现的概率，若$P(x_1,...,x_n)=0$，则 $P(x_1,...,x_n){\log }_2[P(x_1,...,x_n)]$ 被定义为0.

性質

大于每个独立的熵

一集变量的联合熵大于或等于这集变量中任一个的独立熵。

$\mathrm{H}(X,Y)\ge \max [\mathrm{H}(X),\mathrm{H}(Y)]$

$\mathrm{H}(X_1,...,X_n)\ge \max [H(X_1),...,H(X_n)]$

少于或等于独立熵的和

一集变量的联合熵少于或等于这集变量的独立熵之和。这是次可加性的一个例子。该不等式有且只有在$X$和$Y$均为统计独立的时候相等。

$\mathrm{H}(X,Y)\le \mathrm{H}(X)+\mathrm{H}(Y)$

$\mathrm{H}(X_1,...,X_n)\le \mathrm{H}(X_1)+...+\mathrm{H}(X_n)$

与其他熵测量手段的关系

在条件熵的定义中，使用了联合熵

$\mathrm{H}(X|Y)=\mathrm{H}(X,Y)-\mathrm{H}(Y)$

互信息的定义中也出现了联合熵的身影：

$I(X;Y)=\mathrm{H}(X)+\mathrm{H}(Y)-\mathrm{H}(X,Y)$

在量子信息理论中， 联合熵被扩展到Template:Link-en。