查看“︁对数求和不等式”︁的源代码

'''对数求和不等式（Log sum inequality）'''是一个[[不等|不等式]] ，可用于证明[[信息论]]中的多个定理。 

== 定理陈述 ==
对任何非负实数 <math>a_1,\ldots,a_n</math> 和正数 <math>b_1,\ldots,b_n</math> ，并记
:<math>a:=\sum_{i=1}^n a_i</math> 及 <math>b:=\sum_{i=1}^n b_i</math>
则有如下的对数求和不等式：
:<math>\sum_{i=1}^n a_i\log\frac{a_i}{b_i}\geq a\log\frac{a}{b},</math>
上式中，等号成立的充分必要条件是所有 <math>a_i/b_i</math> 都相等。 

== 证明 ==
设辅助函数 <math>f(x)=x\log x</math> ，容易验证这个函数是一个凸（Convex）函数，我们有 

: <math>
\begin{align}
\sum_{i=1}^n a_i\log\frac{a_i}{b_i} & {} = \sum_{i=1}^n b_i f\left(\frac{a_i}{b_i}\right)
 = b\sum_{i=1}^n \frac{b_i}{b} f\left(\frac{a_i}{b_i}\right) \\
& {} \geq b f\left(\sum_{i=1}^n \frac{b_i}{b}\frac{a_i}{b_i}\right) = b f\left(\frac{1}{b}\sum_{i=1}^n a_i\right)
= b f\left(\frac{a}{b}\right) \\
& {} = a\log\frac{a}{b},
\end{align}
</math>

推导中第二行的不等号，是由[[延森不等式|琴生不等式]]得到的 （可验证 <math>{b_i}/{b}\geq 0</math> ， <math>\sum_i {b_i}/{b}= 1</math>）。 

== 应用 ==
对数求和不等式可用于证明信息论中的几个不等式，例如[[吉布斯不等式]]或[[相对熵|KL散度]]的基本性质 。 

例如，证明吉布斯不等式时，将 <math>p_i</math>看作 <math>a_i</math> ，将 <math>q_i</math> 看作 <math>b_i</math>，得到 

: <math>\mathbb{D}_{\mathrm{KL}}(P\|Q) \equiv \sum_{i=1}^n p_i \log_2 \frac{p_i}{q_i} \geq 1\log\frac{1}{1} = 0.</math>

== 一般情形 ==
这个不等式对于收敛的无穷级数亦成立，即当 <math>n=\infty</math> 时，附加假设 <math>a<\infty</math> 和 <math>b<\infty</math> 即可使不等式成立。  

另一种推广则是将对数函数一般化。只要将对数函数换为任何一个<math>g(x)</math>，其使得<math>f(x)=xg(x)</math> 是一个凸（Convex）函数即可。2004年，Csiszár证明了将对数函数换成一个单调非减函数，定理亦成立。 

== 参考文献 ==

* T.S. Han, K. Kobayashi, ''Mathematics of information and coding.'' American Mathematical Society, 2001. {{isbn|0-8218-0534-7}}. 
* Information Theory course materials, Utah State University [https://web.archive.org/web/20170829171439/http://www.ocw.usu.edu/Electrical_and_Computer_Engineering/Information_Theory/lecture3.pdf]. Retrieved on 2009-06-14. 
* {{cite journal|title=Information Theory and Statistics: A Tutorial|url=http://www.renyi.hu/~csiszar/Publications/Information_Theory_and_Statistics:_A_Tutorial.pdf|first1=I.|last2=Shields|first2=P.|journal=Foundations and Trends in Communications and Information Theory|accessdate=2009-06-14|issue=4|doi=10.1561/0100000004|year=2004|volume=1|pages=417&ndash;528|last1=Csiszár|authorlink1=Imre Csiszár|archive-date=2021-01-25|archive-url=https://web.archive.org/web/20210125022100/https://www.renyi.hu/~csiszar/Publications/Information_Theory_and_Statistics:_A_Tutorial.pdf|dead-url=no}} 
[[Category:包含证明的条目]]
[[Category:信息论]]
[[Category:不等式]]
[[Category:数学定理|D]]