相对熵

Template:專家 Template:NoteTA KL散度（Kullback-Leibler divergence，簡稱KLD），在訊息系统中称为相对熵（relative entropy），在连续时间序列中称为随机性（randomness），在统计模型推断中称为訊息增益（information gain）。也称訊息散度（information divergence）。

KL散度是两个機率分布P和Q差别的非对称性的度量。 KL散度是用来度量使用基于Q的分布来编码服从P的分布的样本所需的额外的平均比特数。典型情况下，P表示数据的真实分布，Q表示数据的理论分布、估计的模型分布、或P的近似分布。

定義

對於离散隨機变量，其機率分布P 和 Q的KL散度可按下式定義為

$D_{\mathrm{K}\mathrm{L}}(P\Vert Q)=-\sum _{i}P(i)\ln \frac{Q(i)}{P(i)}.$

等价于

$D_{\mathrm{K}\mathrm{L}}(P\Vert Q)=\sum _{i}P(i)\ln \frac{P(i)}{Q(i)}.$

即按機率P求得的P和Q的對數商的平均值。KL散度僅當機率P和Q各自總和均為1，且對於任何i皆滿足$Q(i)>0$及$P(i)>0$時，才有定義。式中出現$0\ln 0$的情況，其值按0處理。

對於連續隨機變量，其機率分佈P和Q的KL散度可按積分方式定義為

$D_{\mathrm{K}\mathrm{L}}(P\Vert Q)=\underset{-\mathrm{\infty }}{\overset{\mathrm{\infty }}{\int }}p(x)\ln \frac{p(x)}{q(x)}\mathrm{d}x,$

其中p和q分別表示分佈P和Q的密度。

更一般的，若P和Q為集合X的機率測度，且P關於Q絕對連續，則從P到Q的KL散度定義為

$D_{\mathrm{K}\mathrm{L}}(P\Vert Q)=\underset{X}{\int }\ln \frac{\mathrm{d}P}{\mathrm{d}Q}\mathrm{d}P,$

其中，假定右側的表達形式存在，則$\frac{\mathrm{d}Q}{\mathrm{d}P}$為Q關於P的R–N導數。

相應的，若P關於Q絕對連續，則

$D_{\mathrm{K}\mathrm{L}}(P\Vert Q)=\underset{X}{\int }\ln \frac{\mathrm{d}P}{\mathrm{d}Q}\mathrm{d}P=\underset{X}{\int }\frac{\mathrm{d}P}{\mathrm{d}Q}\ln \frac{\mathrm{d}P}{\mathrm{d}Q}\mathrm{d}Q,$

即為P關於Q的相對熵。

特性

相對熵的值為非負數：

$D_{\mathrm{K}\mathrm{L}}(P\Vert Q)\ge 0,$

由吉布斯不等式可知，當且僅當$P=Q$時$D_{KL}(P\Vert Q)$為零。

尽管从直觉上KL散度是个度量或距离函数, 但是它实际上并不是一个真正的度量或距離。因為KL散度不具有对称性：从分布P到Q的距离通常并不等于从Q到P的距离。

$D_{\mathrm{K}\mathrm{L}}(P\Vert Q)\ne D_{\mathrm{K}\mathrm{L}}(Q\Vert P)$

KL散度和其它量的关系

自信息和KL散度

$I(m)=D_{\mathrm{K}\mathrm{L}}({\delta }_{im}\Vert \{p_i\}),$

互信息和KL散度

$\begin{array}{cc}I(X;Y)& =D_{\mathrm{K}\mathrm{L}}(P(X,Y)\Vert P(X)P(Y))\\ & ={𝔼}_X\{D_{\mathrm{K}\mathrm{L}}(P(Y|X)\Vert P(Y))\}\\ & ={𝔼}_Y\{D_{\mathrm{K}\mathrm{L}}(P(X|Y)\Vert P(X))\}\end{array}$

信息熵和KL散度

$\begin{array}{cc}H(X)& =\mathrm{(}\mathrm{i}\mathrm{)}{𝔼}_x\{I(x)\}\\ & =\mathrm{(}\mathrm{i}\mathrm{i}\mathrm{)}\log N-D_{\mathrm{K}\mathrm{L}}(P(X)\Vert P_U(X))\end{array}$

条件熵和KL散度

$\begin{array}{cc}H(X|Y)& =\log N-D_{\mathrm{K}\mathrm{L}}(P(X,Y)\Vert P_U(X)P(Y))\\ & =\mathrm{(}\mathrm{i}\mathrm{)}\log N-D_{\mathrm{K}\mathrm{L}}(P(X,Y)\Vert P(X)P(Y))-D_{\mathrm{K}\mathrm{L}}(P(X)\Vert P_U(X))\\ & =H(X)-I(X;Y)\\ & =\mathrm{(}\mathrm{i}\mathrm{i}\mathrm{)}\log N-{𝔼}_Y\{D_{\mathrm{K}\mathrm{L}}(P(X|Y)\Vert P_U(X))\}\end{array}$

交叉熵和KL散度

$\mathrm{H}(p,q)={\mathrm{E}}_p[-\log q]=\mathrm{H}(p)+D_{\mathrm{K}\mathrm{L}}(p\Vert q).$

参见

• 熵 (信息论)
• 交叉熵
• Template:Le