高斯过程

Combining heterogeneous spatial datasets with process-based spatial fusion models: A unifying framework Author links open overlay panelCraig Wang a, Reinhard Furrer a b, SNC Study Group Show more Outline Add to Mendeley Share Cite https://doi.org/10.1016/j.csda.2021.107240Get rights and content Under a Creative Commons license open access Abstract In modern spatial statistics, the structure of data has become more heterogeneous. Depending on the types of spatial data, different modeling st ...

【摘 要】高斯过程的可扩展性问题起步本世纪初，主要是随着数据条件的优化而牵引出来的问题。其本质是核矩阵（或协方差矩阵）的 “大 N 问题”，导致 O(n3)\mathcal{O}(n^3)O(n3) 的计算复杂度核 O(n2)\mathcal{O}(n^2)O(n2) 的存储复杂度。 本文梳理了目前的主要应对方法，其中部分方法和高斯过程推断方法 有很大关系，因此两者之间会存在一些交叉。 1 综述类 Liu 2020 年的 可扩展高斯过程综述: 高斯过程回归具有数据规模的三次方的计算复杂度。为了在保持理想预测质量同时，能够提高扩展性，业界已经提出了各种可扩展高斯过程。本文是对可扩展高斯过程的一篇回顾文章，主要按照两个类别梳理了可扩展高斯过程：一是提炼完整数据的全局近似方法，二是划分数据以进行子空间学习的局部近似方法。对于全局近似，主要关注了稀疏近似，包括改进先验但执行精确推断的先验近似、保留精确先验但执行近似推断的后验近似、利用协方差矩阵中特定结构的结构化稀疏近似。对于局部近似，主要突出了专家混合和专家乘积两种方法，这些专家方法对多个局部专家进行模型平均以提高预测。本文还介绍 ...

【摘 要】 高斯过程具有不确定性估计能力，而（深度）神经网络具有灵活的万能逼近能力。因此，如何将神经网络与高斯过程很好地结合（一方面增强神经网络的不确定性量化能力和可解释性，另一方面有效解决高斯过程的可扩展性问题），已经成为最近 5 - 10 年比较热门的研究领域。本文对相关文献进行了梳理，大致分为四种类型： “神经网络与高斯过程的组合（NN + GP）”、 “高斯过程的神经网络实现（NN Is GP）”、 “高斯过程核的神经网络训练（NN GP Training）”、 “神经网络的高斯过程视角（Interprete NN with GP）”。 1 综述类 暂无。 2 神经网络与高斯过程的组合（ NN + GP ） Damianou 2013 年的 《深度高斯过程》 ： 首次尝试神经网络与高斯过程的结合，提出了使用多个等效于高斯过程的神经网络层堆叠形成一种新型的深度信念网络（本质是特征学习，采用逐层训练策略）模型，并称之为深度高斯过程，该团队还给出无限多次组合后的核退化形式。 Vinyals 等 2016 年的 《匹配神经网络》： Matching network ...

【摘 要】高斯过程作为一种用于预测的非参数模型，可以用于回归任务，也可以用于分类任务。高斯过程面临的最大问题在于，当面临大数据时，其计算复杂度为 O(n3)\mathcal{O}(n^3)O(n3)，内存复杂度为 O(n2)\mathcal{O}(n^2)O(n2)，这使其在新形势下的使用非常困难。本文对2006年之前的主要大数据的高斯过程处理方法进行了综述，可以作为了解该方向工作的基础。《机器学习中的高斯过程》一书是高斯过程研究领域的扛鼎之作，本文主要节选自该书的第八章。 【原 文】 Rasmussen, C.E. and Williams, C.K. (2006), Chapter 8 of Gaussian processes for machine learning. Cambridge, Mass: MIT press Cambridge, MA (3). 正如我们在前面的章节中看到的，高斯过程预测的一个重要问题是它的计算规模通常为 \mamthcal{O}(n^3)。对于大型问题（例如 n>10,000n > 10,000n>10,000），存 ...

1 高斯过程原理 （1）基本原理 Rasmussen 等 2006 年经典书籍《机器学习中的高斯过程》节选第二章 《高斯过程回归》 Rasmussen 等 2006 年经典书籍《机器学习中的高斯过程》节选第三章 《高斯过程分类》 （可以视为非高斯似然的一类，暂无中文稿） Wang 2020 年的 高斯过程回归初步教程: 高斯过程回归模型因其表达方式的灵活性和内涵的不确定性预测能力而广泛用于机器学习应用中。本文解释了构建高斯过程的基本概念，包括多元正态分布、核、非参数模型、联合和条件概率等。然后，简明描述了高斯过程回归以及标准高斯过程回归算法的实现。除了标准高斯过程回归，本文还回顾了目前最先进的高斯过程算法软件包。 Gal Yarlin 2017 年的 高斯过程精简版教程: 本文对高斯过程进行公式推导、原理阐述、可视化以及代码实现，介绍了以高斯过程为基础的高斯过程回归基本原理、超参优化、高维输入等问题。本文可以与上一篇文章相互参考，大部分内容具有雷同。 （2）核（协方差）函数 Rasmussen 等 2006 年经典书籍《机器学习中的高斯过程》节选第四章 《高斯过程的协 ...

【摘 要】 神经过程 (NPs) 是一类流行的元学习方法。与高斯过程 (GP) 类似，神经过程定义函数的分布并可以估计其预测中的不确定性。然而，与 GP 不同，神经过程及其变体存在欠拟合问题，并且通常具有难以处理的似然，这限制了它们在顺序决策中的应用。我们提出了 Transformer Neural Processes (TNPs)，这是神经过程家族的新成员，它将不确定性感知元学习转化为序列建模问题。我们通过基于自回归似然的目标来学习 TNP，并使用一种新颖的基于 transformer 的架构对其进行实例化。模型架构尊重问题结构固有的归纳偏差，例如对观测到的数据点的不变性和对未观测到的点的等变性。我们进一步研究了 transformer 神经过程框架内的旋钮，这些旋钮在解码分布的表现力与额外计算之间进行了权衡。根据经验，我们表明 transformer 神经过程在各种基准问题上实现了最先进的性能，在元回归、图像补全、上下文多臂老虎机和贝叶斯优化方面优于所有以前的神经过程变体。 【原 文】 Nguyen, T. and Grover, A. (2023) ‘Transfor ...

1 高斯过程回归（分类）的基本原理 Rasmussen 等 2006 年经典书籍《机器学习中的高斯过程》节选第二章 《高斯过程回归》 Rasmussen 等 2006 年经典书籍《机器学习中的高斯过程》节选第三章 《高斯过程分类》 （可以视为非高斯似然的一类，暂无中文稿） Wang 2020 年的 高斯过程回归初步教程: 高斯过程回归模型因其表达方式的灵活性和内涵的不确定性预测能力而广泛用于机器学习应用中。本文解释了构建高斯过程的基本概念，包括多元正态分布、核、非参数模型、联合和条件概率等。然后，简明描述了高斯过程回归以及标准高斯过程回归算法的实现。除了标准高斯过程回归，本文还回顾了目前最先进的高斯过程算法软件包。 Gal Yarlin 2017 年的 高斯过程精简版教程: 本文对高斯过程进行公式推导、原理阐述、可视化以及代码实现，介绍了以高斯过程为基础的高斯过程回归基本原理、超参优化、高维输入等问题。本文可以与上一篇文章相互参考，大部分内容具有雷同。 2 高斯过程的核（协方差）函数 Rasmussen 等 2006 年经典书籍《机器学习中的高斯过程 ...

【摘 要】条件神经过程 (CNP）是一个有吸引力的元学习模型系列，它可以产生经过良好校准的预测，能够在测试时进行快速推断，并且可以通过简单的最大似然程序进行训练。 CNP 的局限性在于它们无法对输出中的依赖关系进行建模。这极大地影响了预测性能，并且无法抽取相干的函数样本，从而限制了 CNP 在下游应用和决策制定中的适用性。神经过程 (NPs) 试图通过使用隐变量来缓解这个问题，并靠此来建模输出的依赖性，但带来了近似推断的困难。最近的一种替代方法是 FullConvGNP，它可以对预测中的依赖性进行建模，同时仍然可以通过精确的最大似然法进行训练。不幸的是，FullConvGNP 依赖于昂贵的二维卷积，这使其仅适用于一维数据。在本文工作中，我们提出了一种新方法来模拟输出依赖性，它适用于最大似然训练，但可以扩展到二维和三维数据。所提出的模型在合成实验中表现出了良好性能。 【原 文】 Markou, S. 等 (2021) ‘Efficient Gaussian Neural Processes for Regression’. arXiv. Available at: http: ...

【摘 要】 深度神经网络擅长函数逼近，但通常针对每个新函数从头开始训练。而贝叶斯方法（如高斯过程）利用先验知识在测试时快速推断新的函数形状，但高斯过程的计算成本很高，而且很难设计出合适的先验。在本文中，我们提出了结合了两者优点的条件神经过程 (CNP)。条件神经过程受到高斯过程等随机过程灵活性的启发，但其结构却类似于神经网络，并可以通过梯度下降进行训练。条件神经过程在仅观测少数训练数据点后就能够做出准确预测，同时可以扩展到复杂函数和大型数据集。我们展示了该方法在一系列机器学习任务上的性能和多功能性，包括回归、分类和图像补全。 【原 文】 Garnelo, M. et al. (2018) ‘Conditional neural processes’, in J. Dy and A. Krause (eds) Proceedings of the 35th international conference on machine learning. PMLR (Proceedings of machine learning research), pp. 1704–1713. A ...

一、 如何构造核 二、 自动构造核 《用于模式发现和外推的高斯过程核》 : 使用高斯混合模型对核的谱密度（傅里叶变换）建模，得出简单封闭形式的高斯过程核。 三、 #refplus, #refplus li{ padding:0; margin:0; list-style:none; }； document.querySelectorAll(".refplus-num").forEach((ref) => { let refid = ref.firstChild.href.replace(location.origin+location.pathname,''); let refel = document.querySelector(refid); let refnum = refel.dataset.num; let ref_content = refel.innerText.repla ...