查看“︁中心极限定理”︁的源代码

{{NoteTA|G1=Math
|T=zh-cn:中心极限定理;zh-tw:中央極限定理;zh-hk:中心極限定理;
|1=zh-cn:定律;zh-tw:法則;zh-hk:法則;
}}
[[File:HistPropOfHeads.png|right|thumb|300px|10,000 次抛掷硬币实验中出现正面的平均比率，每次抽樣（实验）的樣本數為 200（抛掷 200 次硬币）]]

'''中心极限定理'''（英语：central limit theorem，簡作 '''CLT'''）是[[概率论]]中的一组定理。在概率论中，中心极限定理 (CLT) 確定的为，在许多情况下，对于独立并同样分布的随机变量，即使原始变量本身不是[[正态分布]]，标准化样本均值的抽样分布也趋向于标准[[正态分布]]。这组定理是[[数理统计学]]和[[偏差|误差]]分析的理论基础，指出了大量随机变量之和近似服从[[正态分布]]的条件。

== 历史 ==
Tijms (2004, p.169) 写到：
{{cquote|中心极限定理有着有趣的历史。这个定理的第一版被[[法国]][[数学家]][[棣莫弗]]发现，他在1733年发表的卓越论文中使用[[正态分布]]去估计大量抛掷硬币出现正面次数的分布。这个超越时代的成果险些被历史遗忘，所幸著名法国数学家[[拉普拉斯]]在1812年发表的巨著 ''Théorie Analytique des Probabilités''中拯救了这个默默无名的理论。


[[拉普拉斯]]扩展了[[棣莫弗]]的理论，指出[[二项分布]]可用正态分布逼近。但同[[棣莫弗]]一样，[[拉普拉斯]]的发现在当时并未引起很大反响。直到十九世纪末中心极限定理的重要性才被世人所知。1901年，俄国数学家[[里雅普诺夫]]用更普通的随机变量定义中心极限定理并在数学上进行了精确的证明。如今，中心极限定理被认为是（非正式地）[[概率论]]中的首席定理。}}

== 棣莫佛-拉普拉斯定理 ==
[[File:Binomial Distribution.svg|thumb|right|300px|用正态分布逼近二项分布]]

[[棣莫佛]]-[[拉普拉斯]]定理（De Moivre–Laplace theorem）是中央极限定理的最初版本，讨论了服从[[二项分布]]的随机变量序列。它指出，参数为n, p的二项分布以np为均值、np(1-p) 为方差的正态分布为极限。

=== 内容 ===

若 <math>X \sim B(n,p)</math> 是 <math>n</math> 次[[伯努利試驗|伯努利实验]]中事件 ''A'' 出现的次数，每次試驗成功的機率為 <math>p</math>，且 <math>q=1-p</math>，则对任意有限区间 <math>[a,b]</math>：

令<math>x_k \equiv \frac{k-np}{\sqrt{npq}}</math>，當<math>n\to{\infty}</math>时

(i) <math>P(X=k) \to \frac{1}{\sqrt{npq}} \cdot \frac{1}{\sqrt{2\pi}} e^{-\frac{1}{2}x^{2}_{k}}</math>

(ii) <math>P\left(a \le{\frac{X-np}{\sqrt{npq}}} \le{b}\right)\to\int_a^b\varphi(x) dx</math>，其中<math>\varphi(x)=\frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}(-\infty<x<\infty).</math>

=== 在高尔顿板问题上的应用 ===
[[File:Quincunx (Galton Box) - Galton 1889 diagram.png|thumb|300px|高尔顿绘制的高尔顿板模型，其中的小球显出钟形曲线。]]

棣莫弗-拉普拉斯定理指出二项分布的极限为正态分布。高尔顿板可以看作是伯努利试验的实验模型。如果我们把小球碰到钉子看作一次实验，而把从右边落下算是成功，从左边落下看作失败，就有了一次<math>p=\frac{1}{2}</math>的伯努利试验。小球从顶端到底层共需要经过n排钉子，这就相当于一个n次伯努利试验。小球的高度曲线也就可以看作二项分布随机变量的概率密度函数。因此，中央极限定理解释了高尔顿板小球累积高度曲线为什么是正态分布独有的钟形曲线。

== 林德伯格-莱维定理 ==
[[File:Clt in action.gif|thumb|right|300px|中央极限定理的动态展示，独立同分布随机变量之和趋近正态分布。]]
{{en-link|Jarl Waldemar Lindeberg||林德伯格}}-[[保羅·皮埃爾·萊維|莱维]]（Lindeberg-Levy）定理，是棣莫佛-拉普拉斯定理的扩展，讨论[[独立同分布]]随机变量序列的中央极限定理。它表明，[[独立同分布]]（i.i.d., 即 independent and identically distributed）、且数学期望和方差有限的随机变量序列的标准化和以标准正态分布为极限：
=== 内容 ===
设随机变量<math>X_1,X_2,\cdots,X_n</math>独立同分布，
且具有有限的[[数学期望]]和[[方差]]<math>E(X_i) = \mu</math>，<math>D(X_i) = \sigma^2 \neq 0  (i=1,2,\cdots,n)</math>。记 

<math>\bar{X}=\frac{1}{n}\sum_{i=1}^{n}X_{i}</math>，<math>\zeta_n=\frac{\bar{X} -\mu}{\sigma/\sqrt{n}}</math>，则
<math>\lim_{n\rightarrow\infty}P\left(  \zeta_n\leq
z\right)  =\Phi\left(  z\right)</math>

其中<math>\Phi(z)</math>是标准正态分布的分布函数。

=== 证明 ===
记<math>X_k-\mu</math>的[[特征函数 (概率论)|特征函数]]为<math>\varphi(t)</math>，根据[[傅里叶变换]]，样本空间中的卷积在特征函数空间变为乘积，因此<math>\zeta_n</math>的特征函数为<math>{\left[\varphi{\left(\frac{t}{\sigma\sqrt{n}}\right)}\right]}^n</math>.由于<math>E(X_k)=\mu,D(X_k)=\sigma^2</math>故<math>\varphi'(0)=0,\varphi''(0)=-\sigma^2.</math>因此

<math>\varphi(t)=1-\frac{1}{2}\sigma^2t^2+o(t^2)</math>

所以

<math>{\left[\varphi{\left(\frac{t}{\sigma\sqrt{n}}\right)}\right]}^n=\left[1-\frac{1}{2n}t^2+o\left(\frac{t^2}{n}\right)\right]^n\to{e^{-t^2/2}}</math>

由于<math>e^{-t^2/2}</math>是连续函数，它对应的分布函数为<math>\Phi(Z)</math>，因此由[[逆极限定理]]知

<math>\lim_{n\rightarrow\infty}P\left(  \zeta_n\leq
z\right)  \to\Phi\left(  z\right)</math>

定理证毕。

== 林德伯格-费勒定理 ==

{{en-link|Jarl Waldemar Lindeberg||林德伯格}}-费勒（Lindeberg-Feller）定理，是中心极限定理的高级形式，是对林德伯格-莱维定理的扩展，讨论独立的，但'''不同分布'''的情况下的随机变量和。它表明，满足一定条件时，独立的，但不同分布的随机变量序列的标准化和依然以标准正态分布为极限：

=== 内容 ===

记随机变量序列<math>X_i</math>（<math>X_i</math>独立但不一定同分布，<math>E[X_i]=0</math>且有有限方差）部分和为

<math>S_n=\sum_{i=1}^n X_i</math>

记

<math>s_i^2={\rm Var}(X_i)</math>

<math>\sigma_n^2=\sum_{i=1}^n s_i^2={\rm Var}(S_n)</math>.

如果对每个<math>\epsilon > 0</math>，序列满足

<math>\lim_{n\rightarrow\infty}{1\over\sigma_n^2}\sum_{i=1}^n E[X_i^2; \{|X_i|>\epsilon\sigma_n\}] = 0</math>

则称它满足林德伯格（Lindeberg）条件。

满足此条件的序列趋向于正态分布，即

<math>S_n/\sigma_n{\stackrel{d}\rightarrow} N(0,1)</math>

同时，该条件也是期望为零、方差有限的独立变量之和趋于正态分布的必要条件。

与之相关的是[[亞歷山大·李亞普諾夫|李亚普诺夫]]（Lyapunov）条件：

<math>E[|X_i|^3] < \infty,\,\lim_{n\rightarrow\infty}{1\over\sigma_n^3}\sum_{i=1}^nE[|X_i|^3]=0</math>

满足李亚普诺夫条件的序列，必满足林德伯格条件。

=== 证明 ===

在此只对较强的李亚普诺夫条件给出证明。

以下证明对每一实数<math>t</math>，特征函数满足<math>\varphi_{S_n/\sigma_n}(t)\rightarrow e^{-t^2/2}</math>。

<math>
\left|\varphi_{S_n/\sigma_n}(t)-e^{-t^2/2}\right|=\left|\prod_{k=1}^n\varphi_{X_k}(t/\sigma_n)-\prod_{k=1}^ne^{-t^2s_k^2/2\sigma_n^2}\right|
\leq\sum_{k=1}^n\left|\varphi_{X_k}(t/\sigma_n)-e^{-t^2s_k^2/2\sigma_n^2}\right|
</math>

泰勒展开，上式可近似为

<math>
\sum_{k=1}^n\left|{\frac{i^3t^3E[X_k^3]}{6\sigma_n^3}} +{\frac{t^4s_k^4}{8\sigma_n^4}}\right|
\leq {|t|^3\over6\sigma_n^3}\sum_{k=1}^nE[|X_k|^3]+{\frac{t^4}{8\sigma_n^4}}\sum_{k=1}^n s_k^4
\leq {|t|^3\over6\sigma_n^3}\sum_{k=1}^nE[|X_k|^3]+{\frac{t^4}{8}}\max_{1\leq k\leq n}{s_k^2\over\sigma_n^2}
</math>

由李亚普诺夫条件，当<math>n\rightarrow\infty</math>时，第一项收敛于零。

令<math>k_n={\rm arg}\max_{1\leq k\leq n}s_k^2/\sigma_n^2</math>，则由[[李亚普诺夫不等式]]，

<math>
(s_{k_n}/\sigma_n)^{3/2}
\leq E[|X_{k_n}/\sigma_n|^3]\leq {\frac{1}{\sigma_n^3}}\sum_{k=1}^n E[|X_k|^3]
</math>

因此第二项也收敛于零。

证毕。

== 广义的定理 ==
{{main|稳定分布#广义中心极限定理}}
中心极限定理指出，随着随机变量数量的增加，许多具有有限方差的独立的且相同分布的随机变量的总和将趋于正态分布。

== 参阅 ==

* [[渐进分布]]
* [[大数定律]]
* [[重对数律]]
* [[鞅中心极限定理]]
* [[本福特定律]]
* [[歐文–賀爾分佈]]

== 参考文献 ==
* 李贤平，概率论基础（第二版），高等教育出版社
* Olav Kallenberg，现代概率论基础（第二版），Springer（2002）。

== 外部链接 ==
* [http://www.statisticalengineering.com/central_limit_theorem.htm 中央极限定理的动态例示（英文）]{{Wayback|url=http://www.statisticalengineering.com/central_limit_theorem.htm |date=20080913114236 }}

{{統計學}}
{{Authority control}}

[[Category:中央極限定理| ]]
[[Category:機率論定理]]
[[Category:统计定理]]
[[Category:包含证明的条目]]
[[Category:渐近理论 (统计学)]]