吉布斯不等式

約西亞·吉布斯

吉布斯不等式說明：

若 $\sum _{i=1}^n{p}_i=\sum _{i=1}^n{q}_i=1$，且$p_i,q_i\in (0,1]$，則有：

$-\sum _{i=1}^n{p}_i\log p_i\le -\sum _{i=1}^n{p}_i\log q_i$，等號成立若且唯若$p_i=q_i\mathrm{\forall }i$

在信息論和概率論，它能應用在法諾不等式和訊號源編碼定理的證明。

約西亞·吉布斯在19世紀提出它。

證明

吉布斯不等式等價於：

$0\ge \sum _{i=1}^n{p}_i\log q_i-\sum _{i=1}^n{p}_i\log p_i=\sum _{i=1}^n{p}_i\log (q_i/p_i)=-D_{\mathrm{K}\mathrm{L}}(P\Vert Q)$（見相對熵）

證明最右的項小於或等於0的方法有幾種：

• 已知 $\ln (x)\le x-1$，等號成立若且唯若 $x=1$：

$\sum _{i=1}^n{p}_i\log (q_i/p_i)\le \sum _{i=1}^n{p}_i(q_i/p_i-1)=\sum _{i=1}^n(q_i-p_i)=\sum _{i=1}^n{q}_i-\sum _{i=1}^n{p}_i=0$

• 根據對數求和不等式或延森不等式：

$\sum _i{p}_i\log \frac{q_i}{p_i}\le \log \sum _i{p}_i\frac{q_i}{p_i}=\log \sum _i{q}_i\le 0$

引理

對於n個變數的概率分布P，其熵的最大值是：

$H(p_1,\dots ,p_n)\le \log n$