查看“︁并行退火”︁的源代码

'''并行退火'''（Parallel tempering），也称作'''replica exchange MCMC sampling'''，是一种用于动态改进[[蒙特卡罗方法]]的模拟算法。该算法用于模拟物理过程。同时更普遍地应用于[[马尔科夫蒙特卡洛|蒙特卡罗马可夫链]]（Markov chain Monte Carlo，MCMC）抽样方法。<ref>David J. Earl and Michael W. Deem (2005) [http://www.rsc.org/Publishing/Journals/CP/article.asp?doi=b509983h "Parallel tempering: Theory, applications, and new perspectives"] {{Wayback|url=http://www.rsc.org/Publishing/Journals/CP/article.asp?doi=b509983h |date=20070930210018 }},  ''Phys. Chem. Chem. Phys.'',  7, 3910</ref>
Sugita和Okamoto数学定义了一种[[分子动力学]]描述的并行退火算法：<ref>{{cite journal
 |author = Y. Sugita and Y. Okamoto
 |year=1999
 |title = Replica-exchange molecular dynamics method for protein folding
 |journal = Chemical Physics Letters
 |volume = 314 |pages = 141–151
 |doi=10.1016/S0009-2614(99)01123-9
}}</ref>通常被称为replica-exchange molecular dynamics（REMD）。

== 原理 ==
一般的[[蒙地卡羅方法|蒙特卡洛模拟]]使用Metropolis抽样，即接受概率<math>P(acc) = min(1, e^{- \frac{\Delta U}{ k_B T}})</math>，相同高度的势垒，温度越低越难以逾越，使得模拟需要相当长的模拟步长才能达到平衡，统计抽样满足[[遍历性|各态历经]]。为了提高性能，采取如下策略：同时模拟一系列仅有温度不同的系统，在某些时刻随机选取相邻两个温度的系统，按如下接受概率置换两系统的温度：
:<math> p(acc) = \min \left( 1, \frac{ \exp \left( -\frac{E_j}{k_B T_i} - \frac{E_i}{k_B T_j} \right) }{ \exp \left( -\frac{E_i}{kT_i} - \frac{E_j}{kT_j} \right) } \right) = \min \left( 1, e^{(E_i - E_j) \left( \frac{1}{kT_i} - \frac{1}{kT_j} \right)} \right) ,</math>
其中，E<sub>i</sub>和E<sub>j</sub>是两个系统的总能量，T<sub>i</sub>，T<sub>j</sub>是温度，k<sub>B</sub>是玻尔兹曼因子。温度置换的过程是非物理的，但只要在一步中选择普通Metropolis抽样和温度置换分别以一定概率择其一，此过程仍然遵守[[细致平衡]]。<ref>{{cite journal
|author = Radford M. Neal
|year=1996
|title = Sampling from multimodal distributions using tempered transitions
|journal = Statistics and Computing
|volume = 6 |issue=4|pages = 353–366
|doi=10.1007/BF00143556
}}</ref>

== 推广 ==
并行退火可以用于温度以外的变量以改进抽样。例如，[[巨正则系综]]下蒙特卡罗模拟[[兰纳-琼斯势]]粒子的气液相平衡时，如果系统条件远离临界温度，密度的涨落很小，模拟中难以观测相变。而同时模拟多个化学势的系统，并按相似的接受法则置换系统的化学势：
:<math> p(acc) = \min \left( 1, \exp \left[ (\beta_j \mu^{ex}_j - \beta_i \mu^{ex}_i)(N_i - N_j) - (\beta_j - \beta_i)(U_i - U_j) \right]  \right) ,</math>
其中i,j是两个超额化学势（相对理想气体）分别为<math>\mu_i, \mu_j</math>的系统，它们的粒子个数分别为<math>N_i, N_j</math>，内能分别为<math>U_i, U_j</math>.
此模拟得到的密度概率函数能准确地反映气相和液相两个峰。<ref>{{cite book |author1=Frenkel, D.  |author2=Smit, B.  |lastauthoramp=yes | title=Understanding Molecular Simulation | publisher=Academic Press |page=395| year=2010 | isbn=978-981-272509-7}}</ref>
== 神经网络 ==
并行退火在训练神经网络时也有相似的应用。将一个系统运行在'''N'''个不同温度的条件下，并根据[https://en.wikipedia.org/wiki/Metropolis%E2%80%93Hastings_algorithm Metropolis法则] {{Wayback|url=https://en.wikipedia.org/wiki/Metropolis%E2%80%93Hastings_algorithm |date=20141219030047 }}交换不同温度下的状态，因而可以用高温环境的参数去模拟低温环境，反之亦然。并行退火算法可用于[[人工神经网络]]训练，改进MCMC，虽然增加了计算复杂度，但提供了更快的马尔科夫链混合（mixing，指收敛）速度和更高的准确性。神经元之间的参数交换被描述为不同温度下分子状态的交换，随机交换的概率由Metropolis法则给出。尤其用于[[约束波茨曼机]]训练。<ref>[http://jmlr.csail.mit.edu/proceedings/papers/v9/desjardins10a/desjardins10a.pdf Parallel Tempering for Training of Restricted Boltzmann Machine.] {{Wayback|url=http://jmlr.csail.mit.edu/proceedings/papers/v9/desjardins10a/desjardins10a.pdf |date=20160306100924 }} R.Salakhutdinov, 2009.</ref>

== 参考 ==
{{Reflist}}

[[Category:蒙地卡羅方法]]
[[Category:計算統計學]]
[[Category:贝叶斯统计]]
[[Category:启发法]]