高斯过程预测的 Vecchia 近似
〖摘 要〗 高斯过程 (GP) 是用于地理空间分析、非参数回归和机器学习的高度灵活的函数估计器,但它们在计算上对大型数据集不可行。 高斯过程的 Vecchia 近似已被用于快速估算参数推断的似然。本文研究了在已观测和未观测位置处进行空间预测时的 Vecchia 近似,包括在大型位置集上获得联合预测分布。我们考虑了用于高斯过程预测的通用 Vecchia 框架,其中包含一些新的和已有的特例。我们从理论和数值上研究了这些方法的准确性和计算特性,并且证明了新方法表现出在空间位置总数上的线性计算复杂性。我们表明,框架内的某些选择会对不确定性量化和计算成本产生强烈影响,从而就哪些方法最适合各种设置提出具体建议。我们还将方法应用于叶绿素荧光卫星数据集,表明新方法比现有方法更快或更准确,并削减了预测结果图中不符合实际的伪影。
〖原 文〗 Katzfuss, M. et al. (2020) ‘Vecchia approximations of Gaussian-process predictions’, Journal of Agricultural, Biological and Env ...
Vecchia 近似似然法的通用框架
【摘要】 高斯过程通常用作函数、时间序列和空间场的模型,但它们对大型数据集在计算上不可行。着眼于高斯过程加上加性噪声项的数据建模典型设置,本文提出了 Vecchia (1988) 方法的泛化作为高斯过程近似的框架。我们展示的通用 Vecchia 方法包含了现有许多流行的高斯过程近似特例,并且允许在统一框架内比较不同方法。通过有向无环图模型,我们确定了推断所需矩阵的稀疏性,从而对计算特性有了新的认识。基于这些结果,我们提出了一种新的稀疏通用 Vecchia 近似,它确保了大型空间数据集的计算可行性,但可以产生比原始 Vecchia 方法近似精度更好的结果。文中提供了几个理论结果并进行了数值比较。
【原文】 Katzfuss, M. and Guinness, J. (2021) ‘A general framework for Vecchia approximations of Gaussian processes’, Statistical Science, 36(1). Available at: https://doi.org/10.1214/19-STS755.
1 ...
Vecchia 近似似然法
〖摘 要〗 介绍了连续域空间过程的参数估计(指均值函数的参数估计)和模型识别(指残差对应的空间过程模型识别)程序。在本文中,空间过程被假定为具有残差的线性模型,且残差服从二阶平稳高斯随机场,同时假定数据由任意采样位置处空间过程的含噪声观测值组成。本文采用了具有椭圆等值线的二维有理密度函数对空间协方差函数进行建模,文中提出的迭代式估计方法可以减轻非格元数据中常规最大似然估计的许多计算困难。
〖原 文〗 Vecchia, A.V. (1988) ‘Estimation and Model Identification for Continuous Spatial Processes’, Journal of the Royal Statistical Society: Series B (Methodological), 50(2), pp. 297–312. Available at: https://doi.org/10.1111/j.2517-6161.1988.tb01729.x.
1 引言
1.1 背景
令 {Z(x,y)}\{Z(x, y)\}{Z(x,y)} 为一 ...
近似受限似然方法
〖摘 要〗 由于计算负担,似然法通常难以用于大型、位置不规则的空间数据集。即使对于高斯模型,精确计算 nnn 个观测值的似然也需要 O(n3)\mathcal{O}(n^3)O(n3) 运算。任何联合密度都可以写成基于某些观测顺序的条件密度之积,因此一种减少计算的方法是在计算上述条件密度时,仅以部分的 “过去” 观测为条件。本文重点探讨了此类方法如何应用于受限似然的近似,特别展示了如何利用 估计方程方法 判断近似的有效性。此外,过前的工作通常建议以当前观测的历史最近邻观测为条件,但我们通过理论、数值和实例表明,以一些远距离的观测为条件,通常也可以带来相当大的好处。
〖原 文〗 Stein, M.L., Chi, Z. and Welty, L.J. (2004) ‘Approximating likelihoods for large spatial data sets’, Journal of the Royal Statistical Society: Series B (Statistical Methodology), 66(2), pp. 275–296. A ...
SPDE: 高斯场和高斯马尔可夫随机场之间的明确联系
【摘 要】 连续索引的高斯场 (GF) 是空间统计建模和地统计学中最重要的组成部分,通过协方差函数的定义给出了场性质的直观解释。在计算方面,高斯场受到大 nnn 问题限制,因为密集矩阵的分解计算成本是维度的三次方(O(n3)\mathcal{O}(n^3)O(n3))。尽管当前计算能力处于历史最高水平,但这一事实似乎仍然是许多应用中的瓶颈。与高斯场同样中要的,还有一类离散索引的高斯马尔可夫随机场 (GMRF),其马尔可夫性质导致精度矩阵的稀疏性,从而使我们可以使用稀疏矩阵的数值算法。对于 R2\mathbb{R}^2R2 中的场, GMRF 仅使用了一般算法所需时间的平方根(O(n3)\mathcal{O}(\sqrt{n^3})O(n3))。 GMRF 由其完整条件分布分布定义,但在这种参数化形势下,其边缘分布性质并不明确。在本文中,我们展示了:对于 Matérn 类型的某些高斯场,(线性)随机偏微分方程的近似随机弱解,可以为 Rd\mathbb{R}^dRd 上的任何三角形剖分提供在高斯场和 GMRF 之间的显式链接,进而可以将该高斯场表示为基函数的形式。其好处是:我 ...
固定秩克里金法
【摘 要】 非常大的空间数据集的空间统计具有挑战性。数据集的大小 nnn 会导致计算最优空间预测变量(例如克里金法)出现问题,因为其计算成本为 nnn 的三次方。此外,大型数据集通常是在大型空间域上定义,因此感兴趣的空间过程通常在该域上表现出非平稳行为。 通过使用一组固定数量的基函数,可以定义一个灵活的非平稳协方差函数族,这产生了我们称为 “固定秩克里金法” 的空间预测方法。具体来说,固定秩克里金法就是此类非平稳协方差函数支撑下的克里金法。当 nnn 非常大时,它依赖于计算简化,以获得隐空间过程的空间最佳线性无偏预测器及其均方预测误差。基于最小化加权 Frobenius 范数的方法产生协方差函数参数的最佳估计量,然后将其代入固定秩克里金方程。新方法适用于在整个地球上观测到的非常大的臭氧数据集,其中 nnn 约为数十万。
【原 文】 Cressie, N. and Johannesson, G. (2008) ‘Fixed rank kriging for very large spatial data sets: Fixed Rank Kriging’, Journal o ...
协方差锥化
【摘 要】 空间相关随机过程的插值被用于许多科学领域。最好的无偏线性预测器,在地统计科学中通常称为克里金预测器,需要基于观测值的协方差矩阵求解(可能很大的)线性系统。在本文中,我们展示了使用适当的紧支撑正定函数对正确的协方差矩阵进行锥化可以显着减少计算负担,并且仍然会导致渐近最优均方误差。锥化的效果是创建一个稀疏的近似线性系统,然后可以使用稀疏矩阵算法对其进行求解。蒙特卡洛模拟支持理论结果。一个大型气候降水数据集的应用作为一个具体和实际的例子被提出。
【原 文】 Furrer, R., Genton, M.G. and Nychka, D. (2006) ‘Covariance Tapering for Interpolation of Large Spatial Datasets’, Journal of Computational and Graphical Statistics, 15(3), pp. 502–523. Available at: https://doi.org/10.1198/106186006X132178.
1 引言
许多学科的统计应用都依赖于根 ...
高斯预测过程
【摘 要】 有了地理编码的可用科学数据,研究人员越来越多地转向空间过程模型来进行统计推断。在过去的十年中,通过马尔可夫链蒙特卡洛方法实现的分层模型在空间建模中变得特别流行,因为它们能够灵活地拟合传统方法不可行的模型,并且避免了可能不正确的渐近。然而,拟合分层空间模型通常涉及昂贵的矩阵分解,其计算复杂度随空间位置的数量呈三次方增加,使得此类模型不适用于大型空间数据集。这种计算负担在具有多个空间相关响应变量的多变量设置中更为明显。当在频繁的时间点收集数据并使用时空过程模型时,这种情况会加剧。关于这一挑战,本文贡献是使用空间和时空数据的预测过程模型。每个空间(或时空)过程都会产生一个预测过程模型(实际上可以是任意多个)。后者将前者的过程实现投影到低维子空间,从而减少了计算负担。因此,我们实现了在大数据集上下文中拟合非平稳、非高斯、多变量、时空过程的灵活性。我们讨论了这些预测过程的理论特性,还提供了一个包含不同设置的计算模板。最后,我们用模拟和真实数据集来说明了该方法。
【原 文】 Banerjee, S. et al. (2008) ‘Gaussian predictive pr ...
最近邻高斯过程模型
【摘 要】 用于分析地统计数据的空间过程模型需要进行计算,随着空间位置的数量变大,这些计算变得令人望而却步。本文开发了一类高度可扩展的最近邻高斯过程 (NNGP) 模型,为大型地统计数据集提供完全基于模型的推断。我们确定最近邻高斯过程是一个定义明确的空间过程,它提供合法的有限维高斯密度和稀疏精度矩阵。我们将最近邻高斯过程作为稀疏归纳先验嵌入到丰富的分层建模框架中,并概述了如何在不存储或分解大型矩阵的情况下执行计算高效的马尔可夫链蒙特卡罗 (MCMC) 算法。该算法每次迭代的浮点运算 (flops) 与空间位置的数量成线性关系,从而呈现出可观的可扩展性。我们使用模拟研究说明了最近邻高斯过程相对于竞争方法的计算和推断优势,并且还分析了美国森林资源清查数据集中的森林生物量,其规模超过了其他降维方法。本文的补充材料可在线获取。
【原 文】 Datta, A. et al. (2016) ‘Hierarchical Nearest-Neighbor Gaussian Process Models for Large Geostatistical Datasets’, Journal ...
🔥 组合似然法概述
【摘 要】组合似然法是用于超大规模高斯随机场高效计算的主要方法之一,本文提供了对组合似然理论和应用的最新发展调查。论文考虑了一系列应用领域,包括地统计学、空间极值、时空模型、集群和纵向数据以及时间序列等。考虑到 Larribe 和 Fearnhead (2011) 已经发表了在统计遗传学方面的综述论文,本文省略了这一重要应用领域。本文重点介绍了组合似然理论发展、组合似然推断的效率和鲁棒性等知识现状。
【原 文】 Varin, C., Reid, N. and Firth, D. (2011) ‘AN OVERVIEW OF COMPOSITE LIKELIHOOD METHODS’, Statistica Sinica, 21(1), pp. 5–42.
1 简介
组合似然是通过将若干似然分量相乘得出的一个推断函数;所使用的似然分量集合通常由应用上下文决定。因为每个个体似然分量都是条件密度(或边缘密度,根据应用而定),所以从复合对数似然的导数得出的估计方程,是一个无偏估计方程。无论这些个体似然分量是否相互独立,根据其乘法所得到的推断函数都会包含所指定模型的似然性质。
本文回 ...