近似推断--HMC 方法
〖摘要〗 〖原文〗 Standford cs228 notes 〖参考〗CMU 10-708 Slides / CMU 10-708 Lecture Notes / Jordan TextBook, Ch.2(section 2.2 - end) / Koller’s Textbook,Ch.4 / A. Fischer and C. Igel, An Introducton to Restricted Boltzmann Machines / B. A. Cipra, An Introduction to the Ising Model
近似推断--MCMC 方法
〖摘要〗 〖原文〗 Standford cs228 notes 〖参考〗CMU 10-708 Slides / CMU 10-708 Lecture Notes / Jordan TextBook, Ch.2(section 2.2 - end) / Koller’s Textbook,Ch.4 / A. Fischer and C. Igel, An Introducton to Restricted Boltzmann Machines / B. A. Cipra, An Introduction to the Ising Model
近似推断--蒙特卡罗方法
〖摘要〗 〖原文〗 Standford cs228 notes 〖参考〗CMU 10-708 Slides / CMU 10-708 Lecture Notes / Jordan TextBook, Ch.2(section 2.2 - end) / Koller’s Textbook,Ch.4 / A. Fischer and C. Igel, An Introducton to Restricted Boltzmann Machines / B. A. Cipra, An Introduction to the Ising Model
直接采样、拒绝采样与重要性采样
直接采样、拒绝采样与重要性采样【摘要】蒙特卡洛（Monte Carlo method）是一种以概率统计理论为指导的重要数值计算方法。它使用随机数来解决随机变量（或随机函数）的期望值积分求解、仿真模拟等非常棘手的计算问题，特别适用于无解析形式的复杂概率分布。根据对蒙特卡洛方法的理解，会发现其中最为核心的部分是如何在给定一个复杂分布时，按照概率随机、高效地获得样本，即采样方法问题。本文将介绍其中最为基础和直觉的几种早期方法，分别是基于 CDF 的直接采样、拒绝采样和重要性采样。 1 直接采样直接采样的思想是：计算机适合于随机的均匀采样，如果能够把任意概率分布的采样转化成对均匀分布的采样，就可以解决采样问题。 假设 $y$ 服从某项分布 $p(y)$，其累积分布函数（ CDF ）为 $h(y)$，现有均匀分布的样本 $z \sim \operatorname{Uniform}(0,1)$，令 $z = h(y)$，即 $y = h^{-1}(z)$，结果 $y$ 即为对分布 $p(y)$ 的采样。 图 1： 直接采样算法流程 举个例子： 图 2：直接采样示例...
蒙特卡洛方法原理
〖摘要〗贝叶斯统计需要在贝叶斯定理基础上，通过参数先验和数据似然对参数的后验概率分布作出推断。从推断精度上区分，贝叶斯推断方法大致包含精确推断和近似推断两大类，其中精确推断常见有变量消除法（Variable Elimination， VE）和信念传播法（Belief Propagation, BP）；而近似推断方法主要是蒙特卡洛法（Mente Carlo, MC）和变分近似推断法（Variational Inference,VI）。蒙特卡洛方法是一种以概率统计理论为指导的重要数值计算方法。它使用随机数来解决随机变量（或随机函数）期望值积分求解、仿真模拟等非常棘手的计算问题，特别适用于没有明确解析形式的复杂概率分布。蒙特卡洛方法中最为核心的部分是如何在给定一个复杂分布时，按照概率随机地、高效地获得样本，即采样方法问题。 〖原文〗蒙特卡洛方法数学基础、蒙特卡洛方法实践 1...