哈密顿蒙特卡洛(HMC)方法
哈密顿蒙特卡洛（ HMC ）采样方法
〖摘要〗快速给出下一个状态的提议值是 MCMC 方法的关键环节。对于状态有限的离散概率质量函数而言，可以采用随机游走的方式选择下一个状态的提议值，然后使用 Metropolis 更新步骤；但对于连续的概率密度函数而言， 随机游走方式显然不利于快速遍历状态空间。哈密顿蒙特卡洛方法利用 Hamilton 动力学的可逆性、能量守恒、体积保持等特性，为构造马氏链提供了一种快速生成提议状态的方法，该方法与 MCMC 中的 Metropolis 更新（或其他更新方法）步骤结合，可以快速生成给定概率分布的样本。
〖原文〗 Radford M. Neal (2011), MCMC Using Hamiltonian Dynamics, Handbook of Markov Chain Monte Carlo.
1 概述
马尔可夫链蒙特卡罗 (MCMC) 起源于 Metropolis 等人 的经典论文 (1953)。它被用于模拟理想化状态下分子系统的状态分布。不久之后，引入了另一种分子模拟方法( Alder 和 Wainwright，1959 年)，其 ...
MCMC 采样编程实战
MCMC 采样方法编程应用实战
【摘要】贝叶斯统计需要在贝叶斯定理基础上，通过参数先验和数据似然对参数的后验概率分布作出推断。从推断精度上区分，贝叶斯推断方法大致包含精确推断和近似推断两大类，其中精确推断常见有变量消除法（Variable Elimination， VE）和信念传播法（Belief Propagation, BP）；而近似推断方法主要是马尔科夫链蒙特卡洛法（Mente Carlo, MCMC）和变分近似推断法（Variational Inference,VI），从原理上来说，前者属于随机性近似推断，而后者属于确定性近似推断。本文从概率编程角度，引导读者了解 MCMC 方法的使用过程，以便形成整体印象。
【原文】 MCMC sampling for dummies — While My MCMC Gently Samples (twiecki.io)
p{text-indent:2em;2}
引子
当谈论贝叶斯统计和概率编程时，通常会掩藏统计推断实际执行的细节，将其视为黑匣子。概率编程好处在于 “不必为构建模型而理解推断的工作原理”，但让使用者理解其原理肯定会 ...
一篇文章读懂 MCMC 方法
马尔可夫链蒙特卡洛（ MCMC ）采样
【摘要】传统的蒙特卡洛方法采用随机抽样的方式获得样本，其中大量随机抽取的样本要么被拒绝（拒绝采样）、要么被加权（重要性采样），样本效率不高。因此科学家在思考是否存在一种接受率为 100%100\%100% 的采样方法。马尔可夫链蒙特卡洛方法真是满足此要求的一种高效采样方法，它充分利用马尔可夫链的可逆性和平稳分布收敛特性，通过一段时间的老化后，所得到的样本能够实现 100%100\%100% 的接受率。
【原文】 MCMC and Gibbs Sampling
1 问题的提出
随机模拟(或者统计模拟)方法有一个很酷的别名是蒙特卡罗模拟(Monte Carlo Simulation)。这个方法始于20世纪40年代，和原子弹制造的曼哈顿计划密切相关，当时乌拉姆、冯.诺依曼、费米、费曼、Nicholas Metropolis 等， 在美国洛斯阿拉莫斯国家实验室研究裂变物质的中子连锁反应的时候，开始使用统计模拟的方法，并在最早的计算机上进行编程实现。
图 1: 随机模拟与计算机
现代的统计模拟方法最早由数学家乌拉姆提出，被 M ...