变分推断

【摘 要】 GPflow 是一个以 TensorFlow 为核心计算，以 Python 为前端的高斯过程库。其设计特别强调软件测试，并且能够利用 GPU 硬件。 【原 文】 Matthews, Alexander G. de G., Mark van der Wilk, Tom Nickson, Keisuke Fujii, Alexis Boukouvalas, Pablo León-Villagrá, Zoubin Ghahramani, and James Hensman. “GPflow: A Gaussian Process Library Using TensorFlow,” 2016. https://doi.org/10.48550/ARXIV.1610.08733. 1 现有的高斯过程库 现在有许多公开可用的高斯过程库，规模从个人项目到主要社区工具不等。因此，我们将只考虑现有库的相关子集。有影响力的 GPML 工具箱（Rasmussen 和 Nickisch，2010 年[11]）使用了 MATLAB。它已被广泛 forked。对我们特别有参考价值的是 G ...

1. 蒙特卡洛原理 《蒙特卡洛方法原理》 2. 基础的随机采样方法 《直接采样、拒绝采样与重要性采样》 3. 马尔可夫链门特卡罗（MCMC）方法 《一篇文章读懂蒙特卡罗采样》 MCMC 采样方法编程实战 4. MCMC 的加速采样 《主要的 MCMC 加速方法》 专题： 《哈密顿蒙特卡洛(HMC)方法》 《不调头采样（NUTS）方法》 《模拟退火》 5. 序贯蒙特卡洛（SMC）方法 《卡尔曼滤波》： 基于高斯似然假设和线性系统假设，后验概率分布具有封闭形式，本身不需要蒙特卡洛方法。在此主要用于和粒子滤波进行比较。 《序贯蒙特卡洛与粒子滤波》：非高斯似然、非线性等更为复杂的系统，后验概率分布没有封闭形式解，因此只能通过蒙特卡洛模拟的方式近似后验概率分布。序贯蒙特卡罗方法为复杂动态系统的粒子滤波奠定了基础。 6. 可扩展的蒙特卡洛方法 随机梯度 MCMC 推断（ SGMCMC ）: 当数据规模较大时，蒙特卡洛方法能否适用？在大数据分析场景中，这个问题困扰了很多人。 #refplus, #refplus li{ padding:0; ...

【摘 要】 我们引入了可扩展的深度核，它结合了深度学习架构的结构特性和核方法的非参数灵活性。具体来说，我们使用局部核插值、归纳点和结构利用（Kronecker 和 Toeplitz）代数来转换具有深度架构的谱混合基核的输入，以获得可扩展的核表示。这些封闭形式的核可以用作标准核的直接替代品，具有表达能力和可扩展性方面的优势。我们通过高斯过程的边缘似然共同学习这些核的属性。 nnn 个训练点的推断和学习成本为 O(n)\mathcal{O}(n)O(n)，每个测试点的预测成本为 O(1)\mathcal{O}(1)O(1)。在大量多样的应用程序集合中，包括具有 200200200 万个样本的数据集，我们展示了具有灵活核学习模型和独立深度架构的可扩展高斯过程的改进性能。 【原 文】 Wilson, A.G. 等 (2015) ‘Deep Kernel Learning’. arXiv. Available at: http://arxiv.org/abs/1511.02222 (Accessed: 31 December 2022). 1 简介 MacKay (1998) [15 ...

〖摘要〗 〖原文〗 Standford cs228 notes 〖参考〗CMU 10-708 Slides / CMU 10-708 Lecture Notes / Jordan TextBook, Ch.2(section 2.2 - end) / Koller’s Textbook,Ch.4 / A. Fischer and C. Igel, An Introducton to Restricted Boltzmann Machines / B. A. Cipra, An Introduction to the Ising Model

〖摘要〗 〖原文〗 Standford cs228 notes 〖参考〗CMU 10-708 Slides / CMU 10-708 Lecture Notes / Jordan TextBook, Ch.2(section 2.2 - end) / Koller’s Textbook,Ch.4 / A. Fischer and C. Igel, An Introducton to Restricted Boltzmann Machines / B. A. Cipra, An Introduction to the Ising Model

〖摘要〗 〖原文〗 Standford cs228 notes 〖参考〗CMU 10-708 Slides / CMU 10-708 Lecture Notes / Jordan TextBook, Ch.2(section 2.2 - end) / Koller’s Textbook,Ch.4 / A. Fischer and C. Igel, An Introducton to Restricted Boltzmann Machines / B. A. Cipra, An Introduction to the Ising Model

开始使用 Pyro 【摘要】Pyro 是 Uber 公司开源的一种概率建模语言，由剑桥大学 zoubin 教授作为首席科学家主持开发，可以使用 Pytorch 深度学习框架、贝叶斯概率统计等技术来估计类型广泛的概率模型。 【原文】https://nbviewer.org/github/QuantEcon/QuantEcon.notebooks/blob/master/IntroToStan_basics_workflow.ipynb 【时间】 2016 【作者】Jim Savage, Lendable Inc. p{text-indent:2em} 1 开始使用 Pyro 1.1 零基础的用户 如果您不熟悉概率编程或变分推断，可以从阅读 系列介绍性教程 开始。如果您是 PyTorch 的新手，还可以从阅读 使用 PyTorch 进行深度学习 中受益。 之后，您就可以开始使用 Pyro 了！ 按照首页的说明安装 Pyro 并仔细阅读 Practical Pyro 和 PyTorch 系列 教程，尤其是第一个贝叶斯回归教程 。该教程通过使用 Pyro 一步步解决一个简单的贝叶斯 ...

【002】Pyro 模型简介 【摘要】Pyro 是 Uber 公司开源的一种概率建模语言，由剑桥大学 zoubin 教授作为首席科学家主持开发，可以使用 Pytorch 深度学习框架、贝叶斯概率统计等技术来估计类型广泛的概率模型。 【原文】https://nbviewer.org/github/QuantEcon/QuantEcon.notebooks/blob/master/IntroToStan_basics_workflow.ipynb 【时间】 2016 【作者】Jim Savage, Lendable Inc. p{text-indent:2em} 1 开始使用 Pyro 1.1 零基础的用户 如果您不熟悉概率编程或变分推断，可以从阅读 系列介绍性教程 开始。如果您是 PyTorch 的新手，还可以从阅读 使用 PyTorch 进行深度学习 中受益。 之后，您就可以开始使用 Pyro 了！ 按照首页的说明安装 Pyro 并仔细阅读 Practical Pyro 和 PyTorch 系列 教程，尤其是第一个贝叶斯回归教程 。该教程通过使用 Pyro 一步步解决一个简 ...

Stan 概率编程语言 【摘要】Stan 是一种灵活的概率建模语言，可以使用贝叶斯技术直接估计多种类型的概率模型。 【原文】https://nbviewer.org/github/QuantEcon/QuantEcon.notebooks/blob/master/IntroToStan_basics_workflow.ipynb 【时间】 2016 【作者】Jim Savage, Lendable Inc. p{text-indent:2em} 1 概述 1.1 简介 Stan 是一种灵活的建模语言，可以直接使用贝叶斯技术来估计非常广泛的概率模型。有几个原因，使人们可能想花些时间来学习 Stan ： Stan 使用 Hamilton Monte Carlo、Variational Inference 和 Penalised Maximum Likelihood 实现了对大数据集概率模型的有效估计。 Stan 可以从用户可能用于数据准备的许多环境中调用，包括 R、Python、Stata、Julia 和 Matlab。 Stan 允许用户通过将 Stan 函数（已 ...

连续型隐变量模型与变分自编码器 Sources: Notebook Repository p{text-indent:2em;2} 第 1 部分 本系列文章介绍了具有离散隐变量的隐变量模型、高斯混合模型 (GMM) 和拟合算法这个模型要数据，EM 算法。第 2 部分介绍了具有连续隐变量的隐变量模型，用于对更复杂的数据（例如自然图像）进行建模，以及可与随机优化算法结合使用的贝叶斯推理技术。 Consider a natural image of size 100×100100 \times 100100×100 with a single channel. This image is a point in 10.00010.00010.000-dimensional space. Natural images are usually not uniformly distributed in this space but reside on a much lower-dimensional manifold within this high-dimensional spa ...