微分熵

微分熵是消息理論中的一個概念，是從以離散隨機變數所計算出的夏農熵推廣，以連續型隨機變數計算所得之熵，微分熵與離散隨機變數所計算出之夏農熵，皆可代表描述一信息所需碼長的下界，然而，微分熵與夏農熵仍存在著某些相異的性質。

定義

令$X$為一連續型隨機變數，其機率密度函數為$f_X(x)$，其中$X$的支撐集為$S=\{x\in X|f_X(x)>0\}$。微分熵$h_X(x)$:

$h_X(x)=-\underset{S}{\int }{f}_X(x)log(f_X(x))dx$。

與夏農熵為類比，計算夏農熵之算式中的$\log$通常以2為底，而微分熵為計算方便，常以$ln$計算後再轉換為$lo{g}_2$的結果。微分熵與夏農熵最大的不同點在於$f_X(x)$可為大於1的數值，此時可能會造成$h_X(x)$為負值，而夏農熵$H_X(x)$恆不為負。

例如，$X$為均勻分布$U(0,a),a<1$：

$f_X(x)=$$\frac{1}{a}$$;h_X(x)=-\underset{0}{\overset{a}{\int }}$$\frac{1}{a}$$ln$$\frac{1}{a}$$dx$

$h_X(x)=ln(a)$$<0$

相關計算

條件熵

$f(x,y)$為$X,Y$之聯合機率密度函數，其條件熵為:

$h(X|Y)=-\int f(x,y)logf(x|y)dxdy$。

相對熵

又稱KL散度（Kullback–Leibler divergence)，兩機率密度函數f、g的相對熵定義為:

$D(f||g)=\int flog\frac{f}{g}$。

互信息

兩連續型隨機變數的聯合機率密度函數為$f(x,y)$，其互信息:

$I(X;Y)=D(f(x,y)||f(x)f(y))$

廣義而言，我們可以將互信息定義在有限多個連續隨機變數值域的劃分。 可參考連續互信息的量化。

性質

相對熵恆正

與夏農相對熵性質相同，恆正。

$-D(f||g)=\int flog\frac{g}{f}$

$\le log\int f\frac{g}{f}$ (延森不等式)

$\le 0$。

鏈式法則

一次觀測所有隨機變數所測得的聯合熵，與個別接收隨機變數後計算的條件熵總和相同，即觀測順序與間隔不影響微分熵。

$h(X_1,X_2,...,X_n)=\sum _{k=1}^{n}h(X_i|X_1,X_2,...,X_{i-1})$。

平移

隨機變數的平移不影響微分熵，因為固定的平移不會增加隨機變數的方差。

$h(X+c)=h(X)$

縮放

將隨機變數縮放會增加其方差，微分熵亦會隨之增加。

$h(AX)=h(X)+log|det(A)|$

上界

期望值為0，方差為${\sigma }^2$且值域為$R$之隨機變數$X$的微分熵，其上界為常態分佈$N(0,{\sigma }^2)$的微分熵。

$h(X)\le \frac{1}{2}log(2\pi e{\sigma }^2)$

估計誤差

隨機變數$X$與其估計子$\hat{X}$之均方誤差存在下界，當$X$為常態分佈且$\hat{X}$為無偏估計子時，等號成立。

$E[(X-\hat{X}{)}^2]\ge \frac{1}{2\pi e}{e}^{2h(X)}$

漸進等分性

漸進等分性

離散隨機變數的夏農熵中，獨立同分布的隨機變數序列，在漸進等分性(Asymptotic equipartition property)之下其機率質量函數$p(X_1,X_2,...,X_n)$趨近於$2^{-nH(X)}$。

連續型隨機變數之漸進等分性：

$-\frac{1}{n}log(f(X_1,X_2,...,X_n))\to h(X)$

典型集

典型集(Typical set)定義如下

$A_{ϵ}^{(n)}=\{(x_1,x_2,...,x_n)\in S^n:|-\frac{1}{n}logf(x_1,x_2,...,x_n)-h(X)|\le ϵ\}$,$ϵ>0$

體積

集合包含於$R^n$,$A\subset R^n$，其體積(Volume)$Vol(A)$定義如下:

$Vol(A)=\underset{A}{\int }d{x}_{1}d{x}_2...d{x}_n$。

典型集$A_{ϵ}^{(n)}$的體積有以下性質:

1.$Vol(A_{ϵ}^{(n)})\le 2^{n(h(X)+ϵ)}$

2.$Vol(A_{ϵ}^{(n)})\ge (1-ϵ)2^{n(h(X)-ϵ)}$

證明

1.

由$-\frac{1}{n}log(f(X_1,X_2,...,X_n))\to h(X)$，

可得：

$1=\underset{S^n}{\int }f(x_1,x_2,...,x_n)d{x}_{1}d{x}_2...d{x}_n$

$\ge \underset{A_{ϵ}^{(n)}}{\int }f(x_1,x_2,...,x_n)d{x}_{1}d{x}_2...d{x}_n$

$\ge \underset{A_{ϵ}^{(n)}}{\int }{2}^{-n(h(X)+ϵ)}d{x}_{1}d{x}_2...d{x}_n$

$=2^{-n(h(X)+ϵ)}\underset{A_{ϵ}^{(n)}}{\int }d{x}_{1}d{x}_2...d{x}_n$

$=2^{-n(h(X)+ϵ)}Vol(A_{ϵ}^{(n)})$

2.

當n足夠大時，$Pr(A_{ϵ}^{(n)})>1-ϵ$，

因此：

$1-ϵ\le \underset{A_{ϵ}^{(n)}}{\int }f(x_1,x_2,...,x_n)d{x}_{1}d{x}_2...d{x}_n$

$\le \underset{A_{ϵ}^{(n)}}{\int }{2}^{-n(h(X)-ϵ)}d{x}_{1}d{x}_2...d{x}_n$

$=2^{-n(h(X)-ϵ)}\underset{A_{ϵ}^{(n)}}{\int }d{x}_{1}d{x}_2...d{x}_n$

$=2^{-n(h(X)-ϵ)}Vol(A_{ϵ}^{(n)})$

量化

我們可以將機率密度函數量化後，以夏農熵來計算微分熵。首先將連續隨機變數X以$\mathrm{\Delta }$分為數個區間，根據均值定理，$x_i$滿足：

$f(x_i)\mathrm{\Delta }=\underset{i\mathrm{\Delta }}{\overset{(i+1)\mathrm{\Delta }}{\int }}f(x)dx=p_i$

量化後的隨機變數$X^{\mathrm{\Delta }}$:

$X^{\mathrm{\Delta }}=x_i,i\mathrm{\Delta }\le X<(i+1)\mathrm{\Delta }$

夏農熵為:

$H(X^{\mathrm{\Delta }})=-\sum _{-\mathrm{\infty }}^{\mathrm{\infty }}f(x_i)\mathrm{\Delta }log(f(x_i))-log\mathrm{\Delta }$

意即，當$\mathrm{\Delta }\to 0$，$h(f)=h(X)$。

例子：

1.

對X做n位元量化$X\sim U(0,\frac{1}{8})$。

$H(X^{\mathrm{\Delta }})=-3+n$

上式表示，若我們想得到n位元精確度，則需要n-3個位元來表示。

2.

對X做n位元量化$X\sim N(0,{\sigma }^2)$。

$H(X^{\mathrm{\Delta }})=\frac{1}{2}log(2\pi e{\sigma }^2)+n$

上式表示，若我們想得到n位元精確度，需要$\frac{1}{2}log(2\pi e{\sigma }^2)+n$個位元來表示。

最大熵

常態分佈

隨機變數$X$，$X_N$值域為$(-\mathrm{\infty },\mathrm{\infty })$，方差為${\sigma }^2$，$X$為任意分佈，$X_N$為常態分佈，機率密度函數分別為$f(x),g(x)$。

則$h_X(X)\le \frac{1}{2}log(2\pi e{\sigma }^2)$

證明:

$\begin{array}{cc}0& \le D(f||g)\\ & =\int f(x)log(\frac{f(x)}{g(x)})dx\\ & =-h(X)-\int f(x)log(g(x))dx\\ & =-h(X)+h(x)\end{array}$

其中，

$\begin{array}{cc}-\underset{-\mathrm{\infty }}{\overset{\mathrm{\infty }}{\int }}f(x)log(g(x))dx& =\underset{-\mathrm{\infty }}{\overset{\mathrm{\infty }}{\int }}f(x)(\frac{1}{2}log(2\pi {\sigma }^2)+\frac{1}{2}(\frac{x-\mu }{\sigma }{)}^2)dx\\ & =\frac{1}{2}log(2\pi e{\sigma }^2)\end{array}$

指數分佈

隨機變數$X$，$Y$值域為$(0,\mathrm{\infty })$，期望值為$\lambda$，$X$為任意分佈，$Y$為指數分佈，機率密度函數分別為$f(x),g(x)$。

則$h_X(X)\le 1+log\lambda$。

證明:

$\begin{array}{cc}0& \le D(f||g)\\ & =\int f(x)log(\frac{f(x)}{g(x)})dx\\ & =-h(X)-\int f(x)log(g(x))dx\\ & =-h(X)+h(Y)\end{array}$

其中，

$\begin{array}{cc}-\underset{0}{\overset{\mathrm{\infty }}{\int }}f(x)log(g(x))dy& =-\underset{0}{\overset{\mathrm{\infty }}{\int }}f(x)(log\lambda +\frac{x}{\lambda })dx\\ & =1+log\lambda \end{array}$

參考文獻

• Thomas M. Cover, Joy A. Thomas, Elements of Information Theory, 1991 John Wiley & Sons, Inc, 1971. ISBN 0-471-20061-1