梅特罗波利斯-黑斯廷斯算法

提议分布Q表示随机游走下一状态的可能位置

梅特罗波利斯－黑斯廷斯算法（Template:Lang-en）是统计学与统计物理中的一种马尔科夫蒙特卡洛（MCMC）方法，用于在难以直接采样时从某一概率分布中抽取随机样本序列。得到的序列可用于估计该概率分布或计算积分（如期望值）等。梅特罗波利斯－黑斯廷斯或其他MCMC算法一般用于从多变量（尤其是高维）分布中采样。对于单变量分布而言，常会使用自适应判别采样（adaptive rejection sampling）等其他能抽取独立样本的方法，而不会出现MCMC中样本自相关的问题。

该算法的名称源于美国物理学家尼古拉斯·梅特罗波利斯与加拿大统计学家Template:Le。

算法

假设$P(x)$为目标概率分布。梅特罗波利斯－黑斯廷斯算法的过程为：

1. 初始化
   1. 选定初始状态$x_0$；
   2. 令$t=0$；
2. 迭代过程
   1. 生成： 从某一容易抽样的分布$Q(x^{\prime }|x_t)$中随机生成候选状态$x^{\prime }$；Template:NoteTag
   2. 计算： 计算是否采纳候选状态的概率$A(x^{\prime }|x)=\min (1,\frac{P(x^{\prime })}{P(x)}\frac{Q(x|x^{\prime })}{Q(x^{\prime }|x)})$；
   3. 接受或拒绝
      1. 从$[0,1]$的均匀分布中生成随机数$u$；
      2. 如$u\le A(x^{\prime }|x)$，则接受该状态，并令$x_{t+1}=x^{\prime }$；
      3. 如$u>A(x^{\prime }|x)$，则拒绝该状态，并令$x_{t+1}=x_t$（复制原状态）；
   4. 增量：令$t=t+1$；

参考文献

• Bernd A. Berg. Markov Chain Monte Carlo Simulations and Their Statistical Analysis. Singapore, World Scientific, 2004.
• Siddhartha Chib and Edward Greenberg: "Understanding the Metropolis–Hastings Algorithm". American Statistician, 49(4), 327–335, 1995
• David D. L. Minh and Do Le Minh. "Understanding the Hastings Algorithm." Communications in Statistics - Simulation and Computation, 44:2 332-349, 2015
• Bolstad, William M. (2010) Understanding Computational Bayesian Statistics, John Wiley & Sons Template:ISBN