对数求和不等式

对数求和不等式（Log sum inequality）是一个不等式，可用于证明信息论中的多个定理。

定理陈述

对任何非负实数 $a_{1}, \dots, a_{n}$ 和正数 $b_{1}, \dots, b_{n}$ ，并记

a : = \sum_{i = 1}^{n} a_{i}

及

b : = \sum_{i = 1}^{n} b_{i}

则有如下的对数求和不等式：

\sum_{i = 1}^{n} a_{i} \log \frac{a_{i}}{b_{i}} \geq a \log \frac{a}{b},

上式中，等号成立的充分必要条件是所有 $a_{i} / b_{i}$ 都相等。

设辅助函数 $f (x) = x \log x$ ，容易验证这个函数是一个凸（Convex）函数，我们有

\begin{matrix} \sum_{i = 1}^{n} a_{i} \log \frac{a_{i}}{b_{i}} & = \sum_{i = 1}^{n} b_{i} f (\frac{a_{i}}{b_{i}}) = b \sum_{i = 1}^{n} \frac{b_{i}}{b} f (\frac{a_{i}}{b_{i}}) \\ \geq b f (\sum_{i = 1}^{n} \frac{b_{i}}{b} \frac{a_{i}}{b_{i}}) = b f (\frac{1}{b} \sum_{i = 1}^{n} a_{i}) = b f (\frac{a}{b}) \\ = a \log \frac{a}{b}, \end{matrix}

推导中第二行的不等号，是由琴生不等式得到的（可验证 $b_{i} / b \geq 0$ ， $\sum_{i} b_{i} / b = 1$ ）。

对数求和不等式可用于证明信息论中的几个不等式，例如吉布斯不等式或KL散度的基本性质。

例如，证明吉布斯不等式时，将 $p_{i}$ 看作 $a_{i}$ ，将 $q_{i}$ 看作 $b_{i}$ ，得到

𝔻_{K L} (P ‖ Q) \equiv \sum_{i = 1}^{n} p_{i} \log_{2} \frac{p_{i}}{q_{i}} \geq 1 \log \frac{1}{1} = 0 .

这个不等式对于收敛的无穷级数亦成立，即当 $n = \infty$ 时，附加假设 $a < \infty$ 和 $b < \infty$ 即可使不等式成立。

另一种推广则是将对数函数一般化。只要将对数函数换为任何一个 $g (x)$ ，其使得 $f (x) = x g (x)$ 是一个凸（Convex）函数即可。2004年，Csiszár证明了将对数函数换成一个单调非减函数，定理亦成立。

T.S. Han, K. Kobayashi, Mathematics of information and coding. American Mathematical Society, 2001. Template:Isbn.
Information Theory course materials, Utah State University [1]. Retrieved on 2009-06-14.
Template:Cite journal