查看“︁重要性采样”︁的源代码

{{NoteTA
|G1=Math
}}
'''重要性采样'''（{{lang-en|importance sampling}}）是[[统计学]]中估计某一[[分布]]性质时使用的一种方法。该方法从与原分布不同的另一个分布中采样，而对原先分布的性质进行估计。重要性采样与[[计算物理学]]中的{{le|伞形采样|Umbrella sampling}}相关。

== 原理 ==
假设<math>X:\Omega\to \mathbb{R}</math>为[[概率空间]]<math>(\Omega,\mathcal{F},P)</math>上的一个[[随机变量]]。我们想要估计''X''的[[期望值]]，记作'''E'''[''X;P'']。如果根据''P''随机抽取样本<math>x_1, \ldots, x_n</math>，估计的期望值即
: <math>
  \widehat{\mathbf{E}}_{n}[X;P] = \frac{1}{n} \sum_{i=1}^n x_i
</math>

这一估计的精确度取决于''X''的方差，
: <math>
   \operatorname{var}[\widehat{\mathbf{E}}_{n};P] = \operatorname{var}[X;P]/n
</math>

而重要性采样的基本思想则是从另一个分布中抽取样本，用以降低'''E'''[''X;P'']估计的方差。进行重要性采样时，首先选择一个随机变量<math>L\geq 0</math>，使得'''E'''''[L;P]=1''，并满足''P''上[[几乎处处]]<math>L(\omega)\neq 0</math>。由此，可以定义新的概率
: <math>
  \mathbf{E}[X;P] = \mathbf{E}\left[\frac{X}{L};P^{(L)}\right].
</math>

于是，我们可以从''P<sup>(L)</sup>''上抽样，通过变量''X/L''估计'''E'''[''X;P'']。如果<math>\operatorname{var}\left[\frac{X}{L};P^{(L)}\right] < \operatorname{var}[X;P]</math>成立，此时的估计便优于直接在原分布上采样得到的估计。

当''X''在Ω上不变号时，最优的''L''为<math>L^*=\frac{X}{\mathbf{E}[X;P]}\geq 0</math>。此时''X/L*''即为要估计的'''E'''[''X;P'']，只需一个样本便可得到该值。然而由于''L*''与要估计的'''E'''[''X;P'']有关，在实际操作中我们无法取到理论上最优的''L*''。不过，我们仍可以采用如下方式逼近该理论值：
: <math>
\begin{align}\forall a\in\mathbb{R}, \; P^{(L^*)}(X\in[a;a+da]) &= \int_{\omega\in\{X\in[a;a+da]\}} \frac{X(\omega)}{E[X;P]}dP(\omega) \\ &= \frac{1}{E[X;P]}\; a\,P(X\in[a;a+da]) 
\end{align}</math>

于是，要估计的期望值可改写为：
: <math>E[X;P] = \int_{a=-\infty}^{+\infty} a\,P(X\in[a;a+da]) </math>

注意到，更优（即让估计值方差更小）的''P<sup>(L)</sup>''会使得样本分布的频率与其在'''E'''[''X;P'']计算中的权重更加相关。这也是该方法得名“重要性采样”的原因。

重要性采样常用于[[蒙特卡洛方法|蒙特卡洛积分]]。当<math>P</math>为[[均匀分布]]、<math>\Omega =\mathbb{R}</math>时，'''E'''[''X;P'']即为实函数<math>X:\mathbb{R}\to\mathbb{R}</math>的积分。

== 参考文献 ==
*{{cite journal |last=Arouna |first=Bouhari |title=Adaptative Monte Carlo Method, A Variance Reduction Technique |journal=Monte Carlo Methods and Their Applications |year=2004 |volume=10 |issue=1 |pages=1–24 |doi=10.1515/156939604323091180 }}
*{{cite book |title=Introduction to Rare Event Simulation |first=James Antonio |last=Bucklew |publisher=Springer-Verlag |location=New York |year=2004 }}
*{{cite book |title=Sequential Monte Carlo Methods in Practice |first=A. |last=Doucet |first2=N. |last2=de Freitas |first3=N. |last3=Gordon |publisher=Springer |year=2001 |isbn=978-0-387-95146-1 }}
*{{cite journal |first=M. |last=Ferrari |first2=S. |last2=Bellini |title=Importance Sampling simulation of turbo product codes |journal=The IEEE International Conference on Communications |volume=9 |pages=2773–2777 |year=2001 |doi=10.1109/ICC.2001.936655 }}
*{{cite journal |first=Oleg |last=Mazonka |title=Easy as Pi: The Importance Sampling Method |journal=Journal of Reference |volume=16 |year=2016 |url=http://jrxv.net/x/16/ism.pdf |access-date=2017-09-18 |archive-date=2021-04-14 |archive-url=https://web.archive.org/web/20210414111554/http://jrxv.net/x/16/ism.pdf |dead-url=no }}
*{{cite book |first=Tommy |last=Oberg |title=Modulation, Detection, and Coding |publisher=John Wiley & Sons |location=New York |year=2001 }}
*{{Cite book | last1=Press | first1=WH | last2=Teukolsky | first2=SA | last3=Vetterling | first3=WT | last4=Flannery | first4=BP | year=2007 | title=Numerical Recipes: The Art of Scientific Computing | edition=3rd | publisher=Cambridge University Press | publication-place=New York | isbn=978-0-521-88068-8 | chapter=Section 7.9.1 Importance Sampling | chapter-url=http://apps.nrbook.com/empanel/index.html#pg=411 | access-date=2017-09-18 | archive-date=2011-08-11 | archive-url=https://web.archive.org/web/20110811154417/http://apps.nrbook.com/empanel/index.html#pg=411 | dead-url=no }}
*{{cite book |first=B. D. |last=Ripley |title=Stochastic Simulation |year=1987 |publisher=Wiley & Sons |location= |isbn= }}
*{{cite journal |first=P. J. |last=Smith |first2=M. |last2=Shafi |first3=H. |last3=Gao |title=Quick simulation: A review of importance sampling techniques in communication systems |journal=IEEE J. Select. Areas Commun. |volume=15 |issue=4 |pages=597–613 |year=1997 |doi=10.1109/49.585771 }}
*{{cite book |first=R. |last=Srinivasan |title=Importance sampling – Applications in communications and detection |publisher=Springer-Verlag |location=Berlin |year=2002 |isbn= }}

[[Category:蒙地卡羅方法]]