重要性采样

直接采样、拒绝采样与重要性采样【摘要】蒙特卡洛（Monte Carlo method）是一种以概率统计理论为指导的重要数值计算方法。它使用随机数来解决随机变量（或随机函数）的期望值积分求解、仿真模拟等非常棘手的计算问题，特别适用于无解析形式的复杂概率分布。根据对蒙特卡洛方法的理解，会发现其中最为核心的部分是如何在给定一个复杂分布时，按照概率随机、高效地获得样本，即采样方法问题。本文将介绍其中最为基础和直觉的几种早期方法，分别是基于 CDF 的直接采样、拒绝采样和重要性采样。 1 直接采样直接采样的思想是：计算机适合于随机的均匀采样，如果能够把任意概率分布的采样转化成对均匀分布的采样，就可以解决采样问题。 假设 $y$ 服从某项分布 $p(y)$，其累积分布函数（ CDF ）为 $h(y)$，现有均匀分布的样本 $z \sim \operatorname{Uniform}(0,1)$，令 $z = h(y)$，即 $y = h^{-1}(z)$，结果 $y$ 即为对分布 $p(y)$ 的采样。 图 1： 直接采样算法流程 举个例子： 图 2：直接采样示例...