近似推断

【摘 要】高斯过程的可扩展性问题起步本世纪初，主要是随着数据条件的优化而牵引出来的问题。其本质是核矩阵（或协方差矩阵）的 “大 N 问题”，导致 O(n3)\mathcal{O}(n^3)O(n3) 的计算复杂度核 O(n2)\mathcal{O}(n^2)O(n2) 的存储复杂度。 本文梳理了目前的主要应对方法，其中部分方法和高斯过程推断方法 有很大关系，因此两者之间会存在一些交叉。 1 综述类 Liu 2020 年的 可扩展高斯过程综述: 高斯过程回归具有数据规模的三次方的计算复杂度。为了在保持理想预测质量同时，能够提高扩展性，业界已经提出了各种可扩展高斯过程。本文是对可扩展高斯过程的一篇回顾文章，主要按照两个类别梳理了可扩展高斯过程：一是提炼完整数据的全局近似方法，二是划分数据以进行子空间学习的局部近似方法。对于全局近似，主要关注了稀疏近似，包括改进先验但执行精确推断的先验近似、保留精确先验但执行近似推断的后验近似、利用协方差矩阵中特定结构的结构化稀疏近似。对于局部近似，主要突出了专家混合和专家乘积两种方法，这些专家方法对多个局部专家进行模型平均以提高预测。本文还介绍 ...

【摘 要】 高斯过程具有不确定性估计能力，而（深度）神经网络具有灵活的万能逼近能力。因此，如何将神经网络与高斯过程很好地结合（一方面增强神经网络的不确定性量化能力和可解释性，另一方面有效解决高斯过程的可扩展性问题），已经成为最近 5 - 10 年比较热门的研究领域。本文对相关文献进行了梳理，大致分为四种类型： “神经网络与高斯过程的组合（NN + GP）”、 “高斯过程的神经网络实现（NN Is GP）”、 “高斯过程核的神经网络训练（NN GP Training）”、 “神经网络的高斯过程视角（Interprete NN with GP）”。 1 综述类 暂无。 2 神经网络与高斯过程的组合（ NN + GP ） Damianou 2013 年的 《深度高斯过程》 ： 首次尝试神经网络与高斯过程的结合，提出了使用多个等效于高斯过程的神经网络层堆叠形成一种新型的深度信念网络（本质是特征学习，采用逐层训练策略）模型，并称之为深度高斯过程，该团队还给出无限多次组合后的核退化形式。 Vinyals 等 2016 年的 《匹配神经网络》： Matching network ...

【摘 要】高斯过程推断的主要目的，是根据训练数据获得函数的高斯过程后验。由于高斯过程来自于对协方差函数的指定，因此，高斯过程推断的核心是：在协方差函数类的参数化形式已经确定的情况下，根据训练数据获得协方差函数中超参数的值（或分布），并进一步实现测试点的预测值（或预测分布）。高斯过程推断大多采用最大边缘似然方法（参见 Rasmussen 第 5 章 高斯过程模型选择与自适应超参数），根据数据模型中的似然类型，一般分为高斯和非高斯两种情况，前者意味着边缘似然具有解析形式，核的超参数可以通过常规高斯过程方法进行推断；而后者意味着边缘似然可能没有解析形式，只能通过变分推断、MCMC 等方法给出边缘似然的近似解，而后利用该近似解推断核的超参数。 1 方法一览表 高斯似然 非高斯似然（变分方法） 非高斯似然（MCMC） 完全的协方差矩阵 GPR VGP GPMC 稀疏归纳的协方差矩阵 SGPR SVGP SGPMC （1）高斯似然的情况 注 1：高斯似然因为具有解析表达式，所以精确方法可能更适用，因此此处也可简单理解为精确推断方法。 注 2: SGPR 可以视 ...

〖摘要〗 〖原文〗 Standford cs228 notes 〖参考〗CMU 10-708 Slides / CMU 10-708 Lecture Notes / Jordan TextBook, Ch.2(section 2.2 - end) / Koller’s Textbook,Ch.4 / A. Fischer and C. Igel, An Introducton to Restricted Boltzmann Machines / B. A. Cipra, An Introduction to the Ising Model

〖摘要〗 〖原文〗 Standford cs228 notes 〖参考〗CMU 10-708 Slides / CMU 10-708 Lecture Notes / Jordan TextBook, Ch.2(section 2.2 - end) / Koller’s Textbook,Ch.4 / A. Fischer and C. Igel, An Introducton to Restricted Boltzmann Machines / B. A. Cipra, An Introduction to the Ising Model

〖摘要〗 〖原文〗 Standford cs228 notes 〖参考〗CMU 10-708 Slides / CMU 10-708 Lecture Notes / Jordan TextBook, Ch.2(section 2.2 - end) / Koller’s Textbook,Ch.4 / A. Fischer and C. Igel, An Introducton to Restricted Boltzmann Machines / B. A. Cipra, An Introduction to the Ising Model

〖摘要〗 〖原文〗 Standford cs228 notes 〖参考〗CMU 10-708 Slides / CMU 10-708 Lecture Notes / Jordan TextBook, Ch.2(section 2.2 - end) / Koller’s Textbook,Ch.4 / A. Fischer and C. Igel, An Introducton to Restricted Boltzmann Machines / B. A. Cipra, An Introduction to the Ising Model

〖摘要〗 〖原文〗 Standford cs228 notes 〖参考〗CMU 10-708 Slides / CMU 10-708 Lecture Notes / Jordan TextBook, Ch.2(section 2.2 - end) / Koller’s Textbook,Ch.4 / A. Fischer and C. Igel, An Introducton to Restricted Boltzmann Machines / B. A. Cipra, An Introduction to the Ising Model

〖摘要〗 〖原文〗 Standford cs228 notes 〖参考〗CMU 10-708 Slides / CMU 10-708 Lecture Notes / Jordan TextBook, Ch.2(section 2.2 - end) / Koller’s Textbook,Ch.4 / A. Fischer and C. Igel, An Introducton to Restricted Boltzmann Machines / B. A. Cipra, An Introduction to the Ising Model