变分推断

【摘 要】 本文为变分推断方法的索引贴，按照变分推断方法发展的几个里程碑结点列出了相关经典文献。 1 综述类 Zhang 2018 年的 Advances in Variational Inference: 变分推断是概率模型中实现近似推断的主要方法之一，基于随机采样的 MCMC 方法在时间复杂度、空间复杂度和收敛可信度方面均不太适用于大型模型（如神经网络）和大规模数据集，而变分推断方法由于将 “估计分布的问题” 转换成了 “寻求具有最优参数的近似分布问题”，进而使推断速度得到了极大提升，而且能够和随机梯度等大样本量结合，是神经网络中寻求不确定性解常用的一种方法。本文介绍了变分推断的核心思想，并概述了迄今为止最主要的变分推断方法。 2 历久弥新的变分推断 – 平均场变分推断 平均场（MeanField ）变分推断：可参考 Blei 2017 年的 《Variational Inference: A Review for Statisticians》一文，更深入的论文参考 Wainwright 2008 年的 《Graphical models, exponential f ...

【摘要】变分推断是概率模型中实现近似推断的主要方法之一，基于随机采样的 MCMC 方法在时间复杂度、空间复杂度和收敛可信度方面均不太适用于大型模型（如神经网络）和大规模数据集，而变分推断方法由于将 “估计分布的问题” 转换成了 “寻求具有最优参数的近似分布问题”，进而使推断速度得到了极大提升，而且能够和随机梯度等大样本量结合，是神经网络中寻求不确定性解常用的一种方法。本文介绍了变分推断的核心思想，并概述了迄今为止最主要的变分推断方法。 【原 文】 C. Zhang, J. Bütepage, H. Kjellström and S. Mandt, “Advances in Variational Inference,” in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 41, no. 8, pp. 2008-2026, 1 Aug. 2019, doi: 10.1109/TPAMI.2018.2889774. 🔔 对隐变量的概率分布进行推断，是概率生成模型（如变分自编码器、G ...

在变分贝叶斯方法中， 证据下界 （通常缩写为 ELBO ，有时也称为 变分下界 [1]或 负变分自由能 ）是一个关于观测数据对数似然的常用下界。 1 术语和符号 设 XXX 和 ZZZ 为随机变量，其联合分布为 pθ(X,Z)p_\theta(X,Z)pθ​(X,Z)（简写为 pθp_{\theta}pθ​ ），pθ(X)p_{\theta}(X)pθ​(X) 是 XXX 的边缘分布，pθ(Z∣X)p_{\theta}(Z \mid X)pθ​(Z∣X) 是给定 XXX 时 ZZZ 的条件分布。 对于 XXX 的任意样本实现 x∼pθx \sim p_{\theta}x∼pθ​ 和任何分布 qϕq_{\phi}qϕ​ ，有 ln⁡pθ(x)≥Ez∼qϕ[ln⁡pθ(x,z)qϕ(z)].\ln p_{\theta}(x) \geq \mathbb {E}_{z \sim q_{\phi }} \left[\ln{\frac{p_{\theta}(x,z)}{q_{\phi}(z)}}\right]. lnpθ​(x)≥Ez∼qϕ​​[lnqϕ​(z)pθ​(x,z)​]. ...

【摘 要】 统计推断是贝叶斯概率框架中最为重要的部分，也是概率机器学习的核心部分。几乎所有的概率机器学习模型，都会涉及根据观测量来获取隐变量或模型参数相关知识的问题，这就是统计推断。与频率主义不同，贝叶斯推断方法并不给出隐变量的确切值，而是保留了模型的不确定性，给出隐变量的概率分布。由于输出的不再是点，而是一个分布，导致贝叶斯统计推断的难度大大增加了。尤其是在复杂模型和大数据集中，问题更明显。本文对贝叶斯统计推断技术进行了综述，以便快速对相关领域知识有一个理解。 【原 文】 参考 Blei 的讲座自行整理。 1 简介 贝叶斯推断是统计学中的一个基本问题，也是许多机器学习方法中遇到的问题。例如：用于分类的高斯混合模型、用于主题建模的潜狄利克雷分配模型等概率图模型，都在拟合数据时需要解决贝叶斯推断问题。 同时应注意到，根据模型设置（如：假设、维度等）不同，贝叶斯推断问题有时很难解决。尤其是遇到大型问题中，精确推断方法往往需要大量计算，且变得难以处理，实践中通常会使用一些近似技术来克服此问题，并建立快速和可扩展的系统。 本文简单介绍贝叶斯推断存在的现实性问题，并以主 ...

【摘 要】 介绍了专门用于空间数据的变分高斯过程 (VGP) 模型，利用了机器学习领域的最新进展。该模型是模块化和可定制的，能够处理关于数据的不同假设。本文工作侧重于多元稳健回归，使用 εεε 不敏感损失函数的自适应。 变分高斯过程使端到端建模成为可能：正态分值变换、空间模式检测和预测。本文提出了一种处理大型数据集的方法，并给出了可用的开源实现。 【原 文】 Gonçalves, Í.G., Guadagnin, F. and Cordova, D.P. (2022) ‘Learning spatial patterns with variational Gaussian processes: Regression’, Computers & Geosciences, p. 105056. Available at: https://doi.org/10.1016/j.cageo.2022.105056. 1 引言 高斯过程 (Gaussian Process，GP) 模型具有能生成具有置信区间的预测、可以从小数据集中学习、抗过拟合等技术优势，因此在机器学习社区中迅 ...

【摘 要】 学习归纳变量的变分框架 (Titsias, 2009a) 对高斯过程文献产生了很大影响。该框架可以解释为最小化近似过程和后验过程之间严格定义的 Kullback-Leibler 散度。据我们所知，迄今为止，这种联系在文献中并未被提及。在本文中，我们对有关该主题的文献进行了实质性的概括。我们给出了无限索引集结果的新证明，它允许归纳不是数据点的点和依赖于所有函数值的可能性。然后，我们讨论了扩充索引集，并表明，与以前的工作相反，扩充的边缘一致性不足以保证变分推断与原始模型的一致性。然后，我们描述了可以获得这种保证的额外条件。最后，我们展示了我们的框架如何阐明域间稀疏近似和 Cox 过程的稀疏近似。 【原 文】 Matthews, A.G. de G. et al. (2015) ‘On Sparse variational methods and the Kullback-Leibler divergence between stochastic processes’. arXiv. Available at: https://doi.org/10.48550/ARX ...

【摘 要】 学习归纳变量的变分框架 (Titsias, 2009a) 对高斯过程文献产生了很大影响。该框架可以解释为最小化近似过程和后验过程之间严格定义的 Kullback-Leibler 散度。据我们所知，迄今为止，这种联系在文献中并未被提及。在本文中，我们对有关该主题的文献进行了实质性的概括。我们给出了无限索引集结果的新证明，它允许归纳不是数据点的点和依赖于所有函数值的可能性。然后，我们讨论了扩充索引集，并表明，与以前的工作相反，扩充的边缘一致性不足以保证变分推断与原始模型的一致性。然后，我们描述了可以获得这种保证的额外条件。最后，我们展示了我们的框架如何阐明域间稀疏近似和 Cox 过程的稀疏近似。 【原 文】 Matthews, A.G. de G. et al. (2015) ‘On Sparse variational methods and the Kullback-Leibler divergence between stochastic processes’. arXiv. Available at: https://doi.org/10.48550/ARX ...

【摘 要】 使用归纳变量的稀疏高斯过程方法需要选择归纳输入和核超参数。我们引入了一种用于稀疏近似的变分公式，它通过最大化真实对数边缘似然的下限来联合推断归纳输入和核超参数。该公式的关键属性是归纳输入被定义为变分参数，这些变分参数是通过最小化变分分布与隐函数值的精确后验分布之间的 Kullback-Leibler 散度来选择的。我们将这种技术应用于回归，并将其与文献中的其他方法进行比较。 【原 文】 Titsias, Michalis. “Variational Learning of Inducing Variables in Sparse Gaussian Processes.” In Proceedings of the Twelth International Conference on Artificial Intelligence and Statistics, edited by David van Dyk and Max Welling, 5:567–74. Proceedings of Machine Learning Research. Hilton Cl ...

【摘 要】 尽管可扩展模型取得了进步，但用于高斯过程 (GP) 的推断工具尚未充分利用计算硬件的发展。我们提出了一种基于黑盒矩阵-矩阵乘法 (BBMM) 的高斯过程推断的有效通用方法。 BBMM 推断使用修改后的共轭梯度算法的批处理版本在一次调用中导出用于训练和推断的所有项。 BBMM 将精确高斯过程推断的渐近复杂度从 \mathcal{O}(n3) 降低到 \mathcal{O}(n2)。使该算法适用于可扩展的近似值和复杂的高斯过程模型只需要一个程序即可与核及其导数进行高效的矩阵-矩阵乘法。此外，BBMM 使用专门的预处理器来大大加快收敛速度。在实验中，我们表明 BBMM 有效地使用 GPU 硬件来显著加速精确的高斯过程推断和可扩展的近似。此外，我们还提供了 GPyTorch，这是一个基于 PyTorch 构建的通过 BBMM 进行可扩展高斯过程推断的软件平台。 【原 文】 Gardner, Jacob, Geoff Pleiss, Kilian Q Weinberger, David Bindel, and Andrew G Wilson. “GPyTorch: Bla ...

【摘 要】 学习归纳变量的变分框架 (Titsias, 2009a) 对高斯过程文献产生了很大影响。该框架可以解释为最小化近似过程和后验过程之间严格定义的 Kullback-Leibler 散度。据我们所知，迄今为止，这种联系在文献中并未被提及。在本文中，我们对有关该主题的文献进行了实质性的概括。我们给出了无限索引集假设下的新证明，它允许不属于训练集的归纳点和依赖于所有函数值集的似然。然后，我们讨论了增广索引集，并表明，与以前的工作相反，增广的边缘一致性不足以保证变分推断近似与原始模型的一致性。我们进一步推导出了获得这种保证的额外条件。最后，我们以 域间稀疏近似 和 Cox 过程 为例，展示了我们的稀疏近似框架。 【原 文】 Matthews, A.G. de G. et al. (2015) ‘On Sparse variational methods and the Kullback-Leibler divergence between stochastic processes’. arXiv. Available at: https://doi.org/10.4855 ...