近似推断

【摘 要】高斯过程的可扩展性问题起步本世纪初，主要是随着数据条件的优化而牵引出来的问题。其本质是核矩阵（或协方差矩阵）的 “大 N 问题”，导致 O(n3)\mathcal{O}(n^3)O(n3) 的计算复杂度核 O(n2)\mathcal{O}(n^2)O(n2) 的存储复杂度。 本文梳理了目前的主要应对方法，其中部分方法和高斯过程推断方法 有很大关系，因此两者之间会存在一些交叉。 1 综述类 Liu 2020 年的 可扩展高斯过程综述: 高斯过程回归具有数据规模的三次方的计算复杂度。为了在保持理想预测质量同时，能够提高扩展性，业界已经提出了各种可扩展高斯过程。本文是对可扩展高斯过程的一篇回顾文章，主要按照两个类别梳理了可扩展高斯过程：一是提炼完整数据的全局近似方法，二是划分数据以进行子空间学习的局部近似方法。对于全局近似，主要关注了稀疏近似，包括改进先验但执行精确推断的先验近似、保留精确先验但执行近似推断的后验近似、利用协方差矩阵中特定结构的结构化稀疏近似。对于局部近似，主要突出了专家混合和专家乘积两种方法，这些专家方法对多个局部专家进行模型平均以提高预测。本文还介绍 ...

【摘 要】 高斯过程具有不确定性估计能力，而（深度）神经网络具有灵活的万能逼近能力。因此，如何将神经网络与高斯过程很好地结合（一方面增强神经网络的不确定性量化能力和可解释性，另一方面有效解决高斯过程的可扩展性问题），已经成为最近 5 - 10 年比较热门的研究领域。本文对相关文献进行了梳理，大致分为四种类型： “神经网络与高斯过程的组合（NN + GP）”、 “高斯过程的神经网络实现（NN Is GP）”、 “高斯过程核的神经网络训练（NN GP Training）”、 “神经网络的高斯过程视角（Interprete NN with GP）”。 1 综述类 暂无。 2 神经网络与高斯过程的组合（ NN + GP ） Damianou 2013 年的 《深度高斯过程》 ： 首次尝试神经网络与高斯过程的结合，提出了使用多个等效于高斯过程的神经网络层堆叠形成一种新型的深度信念网络（本质是特征学习，采用逐层训练策略）模型，并称之为深度高斯过程，该团队还给出无限多次组合后的核退化形式。 Vinyals 等 2016 年的 《匹配神经网络》： Matching network ...

【摘 要】高斯过程推断的主要目的是 “根据观测数据获得函数的高斯过程后验” ，而高斯过程的特性主要来自于协方差函数（具体来说，是该函数的参数化形式及对应的超参数值），因此，高斯过程推断问题的核心通常是：在协方差函数族的参数化形式已经确定的情况下，根据观测数据推断出协方差函数中超参数的值（或分布），这也被称为 模型选择 问题。推断得出的结果可被进一步用于计算测试点的值（或分布），进而实现含不确定性的预测。高斯过程推断（或模型选择）通常采用最大边缘似然方法（参见 Rasmussen 第 5 章 高斯过程模型选择与自适应超参数）。根据数据模型中的似然假设，一般可以被分为 高斯（例如气压、湿度等实值随机变量，通常被假设为高斯分布）和 非高斯（例如分类、计数等随机变量）两种情况，前者意味着边缘似然具有解析形式，可以通过常规高斯过程推断方法获得核超参数的闭式解；而后者意味着边缘似然有可能没有解析形式，需要通过 变分推断、MCMC 等 方法来近似边缘似然，而后利用该近似边缘似然推断核超参数的近似解。 1 方法一览表 高斯似然 非高斯似然（变分方法） 非高斯似然（MCMC） ...

〖摘要〗 〖原文〗 Standford cs228 notes 〖参考〗CMU 10-708 Slides / CMU 10-708 Lecture Notes / Jordan TextBook, Ch.2(section 2.2 - end) / Koller’s Textbook,Ch.4 / A. Fischer and C. Igel, An Introducton to Restricted Boltzmann Machines / B. A. Cipra, An Introduction to the Ising Model

〖摘要〗 〖原文〗 Standford cs228 notes 〖参考〗CMU 10-708 Slides / CMU 10-708 Lecture Notes / Jordan TextBook, Ch.2(section 2.2 - end) / Koller’s Textbook,Ch.4 / A. Fischer and C. Igel, An Introducton to Restricted Boltzmann Machines / B. A. Cipra, An Introduction to the Ising Model

〖摘要〗 〖原文〗 Standford cs228 notes 〖参考〗CMU 10-708 Slides / CMU 10-708 Lecture Notes / Jordan TextBook, Ch.2(section 2.2 - end) / Koller’s Textbook,Ch.4 / A. Fischer and C. Igel, An Introducton to Restricted Boltzmann Machines / B. A. Cipra, An Introduction to the Ising Model

〖摘要〗 〖原文〗 Standford cs228 notes 〖参考〗CMU 10-708 Slides / CMU 10-708 Lecture Notes / Jordan TextBook, Ch.2(section 2.2 - end) / Koller’s Textbook,Ch.4 / A. Fischer and C. Igel, An Introducton to Restricted Boltzmann Machines / B. A. Cipra, An Introduction to the Ising Model

〖摘要〗 〖原文〗 Standford cs228 notes 〖参考〗CMU 10-708 Slides / CMU 10-708 Lecture Notes / Jordan TextBook, Ch.2(section 2.2 - end) / Koller’s Textbook,Ch.4 / A. Fischer and C. Igel, An Introducton to Restricted Boltzmann Machines / B. A. Cipra, An Introduction to the Ising Model

〖摘要〗 〖原文〗 Standford cs228 notes 〖参考〗CMU 10-708 Slides / CMU 10-708 Lecture Notes / Jordan TextBook, Ch.2(section 2.2 - end) / Koller’s Textbook,Ch.4 / A. Fischer and C. Igel, An Introducton to Restricted Boltzmann Machines / B. A. Cipra, An Introduction to the Ising Model