特征函数 (概率论)

The characteristic function of a uniform U(–1,1) random variable. This function is real-valued because it corresponds to a random variable that is symmetric around the origin; however characteristic functions may generally be complex-valued.

在概率论中，任何随机变量的特征函数（缩写：ch.f，复数形式：ch.f's）完全定义了它的概率分布。在实直线上，它由以下公式给出，其中$X$是任何具有该分布的随机变量：

${\phi }_X(t)=\mathrm{E}\left(e^{itX}\right)$，

其中$t$是一个实数，$i$是虚数单位，$E$表示期望值。

用矩母函数$M_X(t)$来表示（如果它存在），特征函数就是$iX$的矩母函数，或$X$在虚数轴上求得的矩母函数。

${\phi }_X(t)=M_{iX}(t)=M_X(it)$

与矩母函数不同，特征函数总是存在。

如果$F_X$是累积分布函数，那么特征函数由黎曼－斯蒂尔杰斯积分给出：

$\mathrm{E}\left(e^{itX}\right)=\underset{-\mathrm{\infty }}{\overset{\mathrm{\infty }}{\int }}{e}^{itx}d{F}_X(x)$。

在概率密度函数$f_X$存在的情况下，该公式就变为：

$\mathrm{E}\left(e^{itX}\right)=\underset{-\mathrm{\infty }}{\overset{\mathrm{\infty }}{\int }}{e}^{itx}{f}_X(x)dx$。

如果$X$是一个向量值随机变量，我们便取自变量$t$为向量，$tX$为数量积。

$R$或$R^n$上的每一个概率分布都有特征函数，因为我们是在有限测度的空间上对一个有界函数进行积分，且对于每一个特征函数都正好有一个概率分布。

一个对称概率密度函数的特征函数（也就是满足$f_X(x)=f_X(-x)$）是实数，因为从$x>0$所获得的虚数部分与从$x<0$所获得的相互抵消。

连续性

Template:Main 勒维连续定理说明，假设$(X_n{)}_{n=1}^{\mathrm{\infty }}$为一个随机变量序列，其中每一个$X_n$都有特征函数${\phi }_n$，那么它依分布收敛于某个随机变量$X$：

$X_n\stackrel{𝒟}{\to }X$当$n\to \mathrm{\infty }$

如果

${\phi }_n\stackrel{\text{pointwise}}{\to }\phi$当$n\to \mathrm{\infty }$

且$\phi (t)$在$t=0$处连续，$\phi$是$X$的特征函数。

勒维连续定理可以用来证明弱大数定律。

反演定理

在累积概率分布函数与特征函数之间存在双射。也就是说，两个不同的概率分布不能有相同的特征函数。

给定一个特征函数φ，可以用以下公式求得对应的累积概率分布函数$F$：

$F_X(y)-F_X(x)=\underset{\tau \to +\mathrm{\infty }}{\lim }\frac{1}{2\pi }\underset{-\tau }{\overset{+\tau }{\int }}\frac{e^{-itx}-e^{-ity}}{it}{\phi }_X(t)dt$。

一般地，这是一个广义积分；被积分的函数可能只是条件可积而不是勒贝格可积的，也就是说，它的绝对值的积分可能是无穷大。

博赫纳-辛钦定理/公理化定義

Template:Main 任意一个函数$\phi$是对应于某个概率律$\mu$的特征函数，当且仅当满足以下三个条件：

1. $\phi$是连续的；
2. $\phi (0)=1$；
3. $\phi$是一个正定函数（注意这是一个复杂的条件，与$\phi >0$不等价）。

計算性质

特征函数对于处理独立随机变量的函数特别有用。例如，如果$X_1$、$X_2$、……、$X_n$是一个独立（不一定同分布）的随机变量的序列，且

$S_n=\sum _{i=1}^n{a}_i{X}_i,$

其中$a_i$是常数，那么$S_n$的特征函数为：

${\phi }_{S_n}(t)={\phi }_{X_1}(a_{1}t){\phi }_{X_2}(a_{2}t)\cdots {\phi }_{X_n}(a_{n}t).$

特别地，${\phi }_{X+Y}(t)={\phi }_X(t){\phi }_Y(t)$。这是因为：

${\phi }_{X+Y}(t)=E\left(e^{it(X+Y)}\right)=E\left(e^{itX}{e}^{itY}\right)=E\left(e^{itX}\right)E\left(e^{itY}\right)={\phi }_X(t){\phi }_Y(t)$。

注意我们需要$X$和$Y$的独立性来确立第三和第四个表达式的相等性。

另外一个特殊情况，是$a_i=\frac{1}{n}$且$S_n$为样本平均值。在这个情况下，用$\bar{X}$表示平均值，我们便有：

${\phi }_{\bar{X}}(t)={\left({\phi }_X\left(\frac{t}{n}\right)\right)}^n$。

特征函数举例

分布	特征函数 $\phi (t)$
退化分布 ${\delta }_a$	$e^{ita}$
伯努利分布 $\mathrm{B}\mathrm{e}\mathrm{r}\mathrm{n}(p)$	$1-p+p{e}^{it}$
二项分布 $B(n,p)$	$(1-p+p{e}^{it}{)}^n$
负二项分布 $NB(r,p)$	$(\frac{1-p}{1-p{e}^{it}}{)}^r$
泊松分布 $\mathrm{P}\mathrm{o}\mathrm{i}\mathrm{s}(\lambda )$	$e^{\lambda (e^{it}-1)}$
连续均匀分布 $U(a,b)$	$\frac{e^{itb}-e^{ita}}{it(b-a)}$
拉普拉斯分布 $L(\mu ,b)$	$\frac{e^{it\mu }}{1+b^2{t}^2}$
正态分布 $N(\mu ,{\sigma }^2)$	$e^{it\mu -\frac{1}{2}{\sigma }^2{t}^2}$
卡方分布 ${\chi }_k^2$k	$(1-2it{)}^{-\frac{k}{2}}$
柯西分布 $C(\mu ,\theta )$	$e^{it\mu -\theta |t|}$
伽玛分布 $\mathrm{\Gamma }(k,\theta )$	$(1-it\theta {)}^{-k}$
指数分布 $\mathrm{E}\mathrm{x}\mathrm{p}(\lambda )$	$(1-it{\lambda }^{-1}{)}^{-1}$
多元正态分布 $N(\mu ,\mathrm{\Sigma })$	$e^{i{t}^T\mu -\frac{1}{2}{t}^T\mathrm{\Sigma }t}$
多元柯西分布 $\mathrm{M}\mathrm{u}\mathrm{l}\mathrm{t}\mathrm{i}\mathrm{C}\mathrm{a}\mathrm{u}\mathrm{c}\mathrm{h}\mathrm{y}(\mu ,\mathrm{\Sigma })$	$e^{i{t}^T\mu -\sqrt{t^T\mathrm{\Sigma }t}}$

Oberhettinger (1973) 提供的特征函数表.

特征函数的应用

由于连续定理，特征函数被用于中心极限定理的最常见的证明中。

矩

特征函数还可以用来求出某个随机变量的矩。-{只}-要第n个矩存在，特征函数就可以微分n次，得到：

$\mathrm{E}\left(X^n\right)=i^{-n}{\phi }_X^{(n)}(0)=i^{-n}{[\frac{d^n}{d{t}^n}{\phi }_X(t)]}_{t=0}.$

例如，假设$X$具有标准柯西分布。那么${\phi }_X(t)=e^{-|t|}$。它在$t=0$处不可微，说明柯西分布没有期望值。另外，注意到$n$个独立的观测的样本平均值$\bar{X}$具有特征函数${\phi }_{\bar{X}}(t)=(e^{-\frac{\left|t\right|}{n}}{)}^n=e^{-|t|}$，利用前一节的结果。这就是标准柯西分布的特征函数；因此，样本平均值与总体本身具有相同的分布。

特征函数的对数是一个累积量母函数，它对于求出累积量是十分有用的；注意有时定义累积量母函数为矩母函数的对数，而把特征函数的对数称为第二累积量母函数。

一个例子

具有尺度参数$\theta$和形状参数k的伽玛分布的特征函数为：

$(1-\theta it{)}^{-k}$。

现在假设我们有：

$X\sim \mathrm{\Gamma }(k_1,\theta )$且$Y\sim \mathrm{\Gamma }(k_2,\theta )$

其中$X$和$Y$相互独立，我们想要知道$X+Y$的分布是什么。$X$和$Y$特征函数分别为：

${\phi }_X(t)=(1-\theta it{)}^{-k_1},{\phi }_Y(t)=(1-\theta it{)}^{-k_2}$

根据独立性和特征函数的基本性质，可得：

${\phi }_{X+Y}(t)={\phi }_X(t){\phi }_Y(t)=(1-\theta it{)}^{-k_1}(1-\theta it{)}^{-k_2}={(1-\theta it)}^{-(k_1+k_2)}$。

这就是尺度参数为$\theta$、形状参数为$k_1+k_2$的伽玛分布的特征函数，因此我们得出结论：

$X+Y\sim \mathrm{\Gamma }(k_1+k_2,\theta )$，

这个结果可以推广到$n$个独立、具有相同尺度参数的伽玛随机变量：

$\mathrm{\forall }i\in \{1,\dots ,n\}:X_i\sim \mathrm{\Gamma }(k_i,\theta )\Rightarrow \sum _{i=1}^n{X}_i\sim \mathrm{\Gamma }(\sum _{i=1}^n{k}_i,\theta )$。

多元特征函数

如果$X$是一个多元随机变量，那么它的特征函数定义为：

${\phi }_X(t)=\mathrm{E}\left(e^{it\cdot X}\right)$。

这裡的点表示向量的点积，而向量$t$位于$X$的对偶空间内。用更加常见的矩阵表示法，就是：

${\phi }_X(t)=\mathrm{E}\left(e^{i{t}^{T}X}\right)$。

例子

如果$X\sim N(0,\mathrm{\Sigma })$是一个平均值为零的多元高斯随机变量，那么：

${\phi }_X(t)=\mathrm{E}\left(e^{i{t}^{T}X}\right)=\underset{x\in {𝐑}^n}{\int }\frac{1}{{\left(2\pi \right)}^{n/2}{\left|\mathrm{\Sigma }\right|}^{1/2}}{e}^{-\frac{1}{2}{x}^T{\mathrm{\Sigma }}^{-1}x}\cdot e^{i{t}^{T}x}dx=e^{-\frac{1}{2}{t}^T\mathrm{\Sigma }t},t\in {𝐑}^n,$

其中$|\mathrm{\Sigma }|$表示正定矩阵 Σ的行列式。

矩阵值随机变量

如果$X$是一个矩阵值随机变量，那么它的特征函数为：

${\phi }_X(T)=\mathrm{E}\left(e^{i\mathrm{T}\mathrm{r}(XT)}\right)$

在这裡，$\mathrm{T}\mathrm{r}(\cdot )$是迹函数，$XT$表示$T$与$X$的矩阵乘积。由于矩阵XT一定有迹，因此矩阵X必须与矩阵T的转置的大小相同；因此，如果X是m × n矩阵，那么T必须是n × m矩阵。

注意乘法的顺序不重要（$XT\ne TX$但$tr(XT)=tr(TX)$）。

矩阵值随机变量的例子包括威沙特分布和矩阵正态分布。

相关概念

相关概念有矩母函数和概率母函数。特征函数对于所有概率分布都存在，但矩母函数不是这样。

特征函数与傅里叶变换有密切的关系：一个概率密度函数$p(x)$的特征函数是$p(x)$的连续傅里叶变换的共轭复数（按照通常的惯例）。

${\phi }_X(t)=⟨e^{itX}⟩=\underset{-\mathrm{\infty }}{\overset{\mathrm{\infty }}{\int }}{e}^{itx}p(x)dx=\stackrel{‾}{(\underset{-\mathrm{\infty }}{\overset{\mathrm{\infty }}{\int }}{e}^{-itx}p(x)dx)}=\overline{P(t)},$

其中$P(t)$表示概率密度函数$p(x)$的连续傅里叶变换。类似地，从${\phi }_X(t)$可以通过傅里叶逆变换求出$p(x)$：

$p(x)=\frac{1}{2\pi }\underset{-\mathrm{\infty }}{\overset{\mathrm{\infty }}{\int }}{e}^{itx}P(t)dt=\frac{1}{2\pi }\underset{-\mathrm{\infty }}{\overset{\mathrm{\infty }}{\int }}{e}^{itx}\overline{{\phi }_X(t)}dt$。

确实，即使当随机变量没有密度时，特征函数仍然可以视为对应于该随机变量的测度的傅里叶变换。

参考文献

• Lukacs E. (1970) Characteristic Functions. Griffin, London. pp. 350
• Bisgaard, T. M., Sasvári, Z. (2000) Characteristic Functions and Moment Sequences, Nova Science