近似推断--HMC 方法
〖摘要〗
〖原文〗 Standford cs228 notes
〖参考〗CMU 10-708 Slides / CMU 10-708 Lecture Notes / Jordan TextBook, Ch.2(section 2.2 - end) / Koller’s Textbook,Ch.4 / A. Fischer and C. Igel, An Introducton to Restricted Boltzmann Machines / B. A. Cipra, An Introduction to the Ising Model
近似推断--MCMC 方法
〖摘要〗
〖原文〗 Standford cs228 notes
〖参考〗CMU 10-708 Slides / CMU 10-708 Lecture Notes / Jordan TextBook, Ch.2(section 2.2 - end) / Koller’s Textbook,Ch.4 / A. Fischer and C. Igel, An Introducton to Restricted Boltzmann Machines / B. A. Cipra, An Introduction to the Ising Model
近似推断--蒙特卡罗方法
〖摘要〗
〖原文〗 Standford cs228 notes
〖参考〗CMU 10-708 Slides / CMU 10-708 Lecture Notes / Jordan TextBook, Ch.2(section 2.2 - end) / Koller’s Textbook,Ch.4 / A. Fischer and C. Igel, An Introducton to Restricted Boltzmann Machines / B. A. Cipra, An Introduction to the Ising Model
直接采样、拒绝采样与重要性采样
直接采样、拒绝采样与重要性采样
【摘要】蒙特卡洛（Monte Carlo method）是一种以概率统计理论为指导的重要数值计算方法。它使用随机数来解决随机变量（或随机函数）的期望值积分求解、仿真模拟等非常棘手的计算问题，特别适用于无解析形式的复杂概率分布。根据对蒙特卡洛方法的理解，会发现其中最为核心的部分是如何在给定一个复杂分布时，按照概率随机、高效地获得样本，即采样方法问题。本文将介绍其中最为基础和直觉的几种早期方法，分别是基于 CDF 的直接采样、拒绝采样和重要性采样。
1 直接采样
直接采样的思想是：计算机适合于随机的均匀采样，如果能够把任意概率分布的采样转化成对均匀分布的采样，就可以解决采样问题。
假设 yyy 服从某项分布 p(y)p(y)p(y)，其累积分布函数（ CDF ）为 h(y)h(y)h(y)，现有均匀分布的样本 z∼Uniform(0,1)z \sim \operatorname{Uniform}(0,1)z∼Uniform(0,1)，令 z=h(y)z = h(y)z=h(y)，即 y=h−1(z)y = h^{-1}(z)y=h−1(z)，结 ...
蒙特卡洛方法原理
〖摘要〗贝叶斯统计需要在贝叶斯定理基础上，通过参数先验和数据似然对参数的后验概率分布作出推断。从推断精度上区分，贝叶斯推断方法大致包含精确推断和近似推断两大类，其中精确推断常见有变量消除法（Variable Elimination， VE）和信念传播法（Belief Propagation, BP）；而近似推断方法主要是蒙特卡洛法（Mente Carlo, MC）和变分近似推断法（Variational Inference,VI）。蒙特卡洛方法是一种以概率统计理论为指导的重要数值计算方法。它使用随机数来解决随机变量（或随机函数）期望值积分求解、仿真模拟等非常棘手的计算问题，特别适用于没有明确解析形式的复杂概率分布。蒙特卡洛方法中最为核心的部分是如何在给定一个复杂分布时，按照概率随机地、高效地获得样本，即采样方法问题。
〖原文〗蒙特卡洛方法数学基础、蒙特卡洛方法实践
1 引子
蒙特卡洛方法是一类通过随机采样来求解问题的算法的统称，通常要求解的问题是某随机事件的概率或某随机变量的期望。通过随机采样方法，以随机事件出现的频率估计其概率，并将其作为问题的解。
蒙特卡洛的基本做法：做 ...