重要性采样

Template:NoteTA 重要性采样（Template:Lang-en）是统计学中估计某一分布性质时使用的一种方法。该方法从与原分布不同的另一个分布中采样，而对原先分布的性质进行估计。重要性采样与计算物理学中的Template:Le相关。

原理

假设 $X : Ω \to ℝ$ 为概率空间 $(Ω, ℱ, P)$ 上的一个随机变量。我们想要估计X的期望值，记作E[X;P]。如果根据P随机抽取样本 $x_{1}, \dots, x_{n}$ ，估计的期望值即

{\hat{𝐄}}_{n} [X; P] = \frac{1}{n} \sum_{i = 1}^{n} x_{i}

这一估计的精确度取决于X的方差，

var [{\hat{𝐄}}_{n}; P] = var [X; P] / n

而重要性采样的基本思想则是从另一个分布中抽取样本，用以降低E[X;P]估计的方差。进行重要性采样时，首先选择一个随机变量 $L \geq 0$ ，使得E[L;P]=1，并满足P上几乎处处 $L (ω) \neq 0$ 。由此，可以定义新的概率

𝐄 [X; P] = 𝐄 [\frac{X}{L}; P^{(L)}] .

于是，我们可以从P^(L)上抽样，通过变量X/L估计E[X;P]。如果 $var [\frac{X}{L}; P^{(L)}] < var [X; P]$ 成立，此时的估计便优于直接在原分布上采样得到的估计。

当X在Ω上不变号时，最优的L为 $L^{*} = \frac{X}{𝐄 [X; P]} \geq 0$ 。此时X/L*即为要估计的E[X;P]，只需一个样本便可得到该值。然而由于L*与要估计的E[X;P]有关，在实际操作中我们无法取到理论上最优的L*。不过，我们仍可以采用如下方式逼近该理论值：

\begin{matrix} \forall a \in ℝ, P^{(L^{*})} (X \in [a; a + d a]) & = \int_{ω \in {X \in [a; a + d a]}} \frac{X (ω)}{E [X; P]} d P (ω) \\ = \frac{1}{E [X; P]} a P (X \in [a; a + d a]) \end{matrix}

于是，要估计的期望值可改写为：

E [X; P] = \int_{a = - \infty}^{+ \infty} a P (X \in [a; a + d a])

注意到，更优（即让估计值方差更小）的P^(L)会使得样本分布的频率与其在E[X;P]计算中的权重更加相关。这也是该方法得名“重要性采样”的原因。

重要性采样常用于蒙特卡洛积分。当 $P$ 为均匀分布、 $Ω = ℝ$ 时，E[X;P]即为实函数 $X : ℝ \to ℝ$ 的积分。

参考文献

重要性采样

原理

参考文献

导航菜单

搜索