查看“︁吉布斯不等式”︁的源代码

{{NoteTA |G1=Math}}
[[FILE:Josiah Willard Gibbs -from MMS-.jpg|thumb|200px|約西亞·吉布斯]]
'''吉布斯不等式'''說明：

若 <math>\sum_{i=1}^n p_i = \sum_{i=1}^n q_i = 1 </math>，且<math>p_i , q_i \in (0,1]</math>，則有：

: <math>- \sum_{i=1}^n p_i \log p_i \leq - \sum_{i=1}^n p_i \log q_i</math>，等號成立若且唯若<math>p_i = q_i \forall i</math>

在[[信息論]]和[[概率論]]，它能應用在[[法諾不等式]]和[[訊號源編碼定理]]的證明。

[[約西亞·吉布斯]]在19世紀提出它。

==證明==
吉布斯不等式等價於：
: <math>0 \geq \sum_{i=1}^n p_i \log q_i  - \sum_{i=1}^n p_i \log p_i = \sum_{i=1}^n p_i \log (q_i / p_i) = - D_{\mathrm{KL}}(P\|Q) </math>（見[[相對熵]]）

證明最右的項小於或等於0的方法有幾種：
* 已知 <math>\ln(x) \leq x-1</math>，等號成立[[若且唯若]] <math>x=1</math>：
: <math>\sum_{i=1}^n p_i \log (q_i / p_i) \leq \sum_{i=1}^n p_i (q_i / p_i - 1) = \sum_{i=1}^n (q_i - p_i) = \sum_{i=1}^n q_i - \sum_{i=1}^n p_i = 0</math>


* 根據[[對數求和不等式]]或[[延森不等式]]：
: <math>\sum_i p_i \log\frac{q_i}{p_i} \le \log\sum_i p_i\frac{q_i}{p_i} = \log\sum_i q_i \le 0</math>

==引理==
對於n個變數的概率分布P，其[[熵 (信息論)|熵]]的最大值是：
: <math>H(p_1, \ldots , p_n) \leq \log n </math>


[[Category:概率不等式]]