高斯场和非高斯场的随机偏微分方程方法:10 年回顾
【摘 要】 高斯过程和随机场有着悠久的历史,包含了表示空间和时空相关结构的很多方法,例如:协方差函数、谱表示、再生核希尔伯特空间、基于图的模型等。本文介绍了随机偏微分方程方法(SPDE)如何通过 Hilbert 空间投影,将 Matern 协方差模型与其中几种方法建立起联系,并且每种联系在不同情况下都非常有用。除了主要思想的概述之外,本文还讨论了一些重要的扩展、理论、应用和其他新发展。这些方法包括:马尔可夫模型、非马尔可夫模型、非高斯随机场、非平稳场、任意流形上的时空场等,以及实际计算需要考虑的因素。
【原 文】 Lindgren, F., Bolin, D. and Rue, H. (2022) ‘The SPDE approach for Gaussian and non-Gaussian fields: 10 years and still running’, Spatial Statistics, 50, p. 100599. Available at: https://doi.org/10.1016/j.spasta.2022.100599.
1 简介
关于高斯场 ...
高斯过程预测的 Vecchia 近似
〖摘 要〗 高斯过程 (GP) 是用于地理空间分析、非参数回归和机器学习的高度灵活的函数估计器,但它们在计算上对大型数据集不可行。 高斯过程的 Vecchia 近似已被用于快速估算参数推断的似然。本文研究了在已观测和未观测位置处进行空间预测时的 Vecchia 近似,包括在大型位置集上获得联合预测分布。我们考虑了用于高斯过程预测的通用 Vecchia 框架,其中包含一些新的和已有的特例。我们从理论和数值上研究了这些方法的准确性和计算特性,并且证明了新方法表现出在空间位置总数上的线性计算复杂性。我们表明,框架内的某些选择会对不确定性量化和计算成本产生强烈影响,从而就哪些方法最适合各种设置提出具体建议。我们还将方法应用于叶绿素荧光卫星数据集,表明新方法比现有方法更快或更准确,并削减了预测结果图中不符合实际的伪影。
〖原 文〗 Katzfuss, M. et al. (2020) ‘Vecchia approximations of Gaussian-process predictions’, Journal of Agricultural, Biological and Env ...
Vecchia 近似似然法的通用框架
【摘要】 高斯过程通常用作函数、时间序列和空间场的模型,但它们对大型数据集在计算上不可行。着眼于高斯过程加上加性噪声项的数据建模典型设置,本文提出了 Vecchia (1988) 方法的泛化作为高斯过程近似的框架。我们展示的通用 Vecchia 方法包含了现有许多流行的高斯过程近似特例,并且允许在统一框架内比较不同方法。通过有向无环图模型,我们确定了推断所需矩阵的稀疏性,从而对计算特性有了新的认识。基于这些结果,我们提出了一种新的稀疏通用 Vecchia 近似,它确保了大型空间数据集的计算可行性,但可以产生比原始 Vecchia 方法近似精度更好的结果。文中提供了几个理论结果并进行了数值比较。
【原文】 Katzfuss, M. and Guinness, J. (2021) ‘A general framework for Vecchia approximations of Gaussian processes’, Statistical Science, 36(1). Available at: https://doi.org/10.1214/19-STS755.
1 ...
Vecchia 近似似然法
〖摘 要〗 介绍了连续域空间过程的参数估计(指均值函数的参数估计)和模型识别(指残差对应的空间过程模型识别)程序。在本文中,空间过程被假定为具有残差的线性模型,且残差服从二阶平稳高斯随机场,同时假定数据由任意采样位置处空间过程的含噪声观测值组成。本文采用了具有椭圆等值线的二维有理密度函数对空间协方差函数进行建模,文中提出的迭代式估计方法可以减轻非格元数据中常规最大似然估计的许多计算困难。
〖原 文〗 Vecchia, A.V. (1988) ‘Estimation and Model Identification for Continuous Spatial Processes’, Journal of the Royal Statistical Society: Series B (Methodological), 50(2), pp. 297–312. Available at: https://doi.org/10.1111/j.2517-6161.1988.tb01729.x.
1 引言
1.1 背景
令 {Z(x,y)}\{Z(x, y)\}{Z(x,y)} 为一 ...
🔥 空间变系数模型索引帖
1 综述类
自行整理的 《空间回归模型综述》: 空间回归模型是按照空间区位研究变量之间关系的主要数学工具。根据回归模型是否存在局部空间同质特征(或反之空间异质性),通常可以将空间回归模型划分为 全局空间回归模型 和 局部空间回归模型。
Fotheringham 2022 年的 《空间局部化思维对于统计和社会科学的重要性》: 在过去的二十年里,越来越多的注意力集中在局部形式的空间分析上,无论是在描述性统计还是空间建模方面,我们称之为 “局部化思维”。局部化思维的基础在于:全局空间分析方法可能不适用,并且待测量的条件关系存在随空间变化的情况。本文不仅研究了局部化思维对空间过程建模的影响,而且更广泛地考察了人们对空间行为的理解。我们首先简要调查了局部统计建模的原因;然后描述一种局部建模框架(多尺度地理加权回归),以展示局部模型中的基本概念和此类模型的输出类型;之后,我们研究了局部方法对统计分析的影响,重点是局部模型与空间回归模型相比的作用、局部模型的诊断、局部方法如何与困扰空间分析数十年的空间尺度问题相关联等问题;最后,我们将注意力转向空间局部建模方法对社会的影响,讨论了可复制 ...
🔥 深度高斯马尔可夫随机场
【摘 要】 高斯马尔可夫随机场 (GMRF) 是一种广泛应用于空间统计和相关领域的概率图模型,用于模拟空间结构的依赖性。本文在高斯马尔可夫随机场和卷积神经网络 (CNN) 之间建立了正式联系。普通的高斯马尔可夫随机场是生成模型的一个特例,其中从数据到隐变量的逆映射由单层线性卷积神经网络给出。这种连接关系使我们能够将高斯马尔可夫随机场推广到多层 CNN 架构,以一种有利于计算伸缩性的方式有效增加相应高斯马尔可夫随机场的阶数。我们描述了如何使用成熟工具(例如 自动微分和变分推断)来简单有效地推断和学习深度高斯马尔可夫随机场。我们展示了所提出模型的灵活性,并在卫星温度数据集上表明了其在预测准确性和不确定性方面优于的目前最好的技术。
【原 文】 Sidén, P. and Lindsten, F. (2020) ‘Deep Gaussian Markov Random Fields’. arXiv. Available at: http://arxiv.org/abs/2002.07467 (Accessed: 15 November 2022).
1 引言
在对大量图像进行训练时 ...
快速地理加权回归 (FastGWR)
〖摘 要〗 地理加权回归 (GWR) 是一种广泛使用的工具,用于探索地理空间过程的空间异质性。 GWR 计算特定位置的参数估计值,这使得其校准过程需要大量计算。当前开源 GWR 软件可以处理的最大数据点数是标准桌面上的大约 15,00015,00015,000 个观测值。在大数据时代,这严重限制了 GWR 的使用。为了克服这一限制,我们提出了一种高度可扩展的开源 FastGWR 实现,该实现基于 Python 和消息传递接口 (MPI),可扩展到数百万个观测值的数量级。 FastGWR 优化内存使用以及并行化以显着提高性能。为了说明 FastGWR 的性能,对来自洛杉矶市 Zillow 数据集的大约 130130130 万个单户住宅物业进行了特征房价模型校准,这是将 GWR 应用于这种规模的数据集的首次尝试。结果表明,随着高性能计算 (HPC) 环境中内核数量的增加,FastGWR 呈线性扩展。它还优于当前可用的开源 GWR 软件包,在标准桌面上速度大幅降低——最高可达数千倍。
【原 文】 Li, Z. et al. (2019) ‘Fast Geographically ...
🔥 深度克里金法(DeepKriging)
【摘 要】 在空间统计中,利用空间依赖性来预测未观测位置的空间过程值是一个共同的目标。克里金法使用协方差函数(或变异函数)提供了最佳线性无偏预测器,并且通常与高斯过程相关。但当考虑非高斯数据或分类数据的非线性预测问题时,克里金预测不再是最优的,而且其方差往往过于乐观。尽管深度神经网络 (DNN) 广泛用于分类和预测任务,但对具有空间依赖性的数据尚缺乏深入研究。在本文工作中,我们提出了一种用于空间预测的新型 DNN 结构,通过在 DNN 之前添加一个具有基函数的空间坐标嵌入层来捕获空间依赖性。理论和模拟研究结果表明:所提出的 DeepKriging 方法与高斯情况下的克里金法有直接联系。由于该方法提供的是非线性预测,因此相较于克里金法而言,新方法对于非高斯和非平稳数据会有更多优势,也具有更小的近似误差。DeepKriging 不需要对协方差矩阵进行运算,因此可扩展到大型数据集。当具有足够多隐神经元时,它能够根据模型容量提供最佳预测。我们进一步探讨了在不假设任何数据分布的情况下,基于密度预测来量化预测不确定性的可能性。最后,我们将该方法应用于预测整个美国大陆的 PM2.5 浓度 ...
地统计学中的贝叶斯深度学习
【摘 要】 地球科学家越来越多地处理“大数据”。对于涉及空间建模和制图的应用程序,克里金法的变体——南非采矿工程师 Danie Krige 开发的空间插值技术——长期以来一直被视为成熟的地质统计方法。然而,克里金法及其变体(例如回归克里金法,其中辅助变量或这些变量的导数作为协变量包含在内)是相对受限的模型,并且缺乏深度神经网络在过去十年左右为我们提供的功能。其中最主要的是特征学习:学习过滤器以识别网格数据(例如图像)中特定于任务的模式的能力。在这里,我们通过展示深度神经网络如何自动学习点采样目标变量和网格化辅助变量(例如遥感提供的辅助变量)之间的复杂关系,展示了地统计学背景下特征学习的力量,并在此过程中产生所选目标变量的详细地图。同时,为了满足需要良好校准概率的决策者的需求,我们展示了如何通过称为蒙特卡洛 Dropout 的贝叶斯近似从深度神经网络获得任意和认知不确定性估计。在我们的示例中,我们根据点采样观测生成全国范围的概率地球化学图,并使用地形高程网格提供的辅助数据。与传统的地质统计方法不同,辅助变量网格被原始输入到我们的深度神经网络中。无需提供导数(例如倾斜角、地形情 ...
近似受限似然方法
〖摘 要〗 由于计算负担,似然法通常难以用于大型、位置不规则的空间数据集。即使对于高斯模型,精确计算 nnn 个观测值的似然也需要 O(n3)\mathcal{O}(n^3)O(n3) 运算。任何联合密度都可以写成基于某些观测顺序的条件密度之积,因此一种减少计算的方法是在计算上述条件密度时,仅以部分的 “过去” 观测为条件。本文重点探讨了此类方法如何应用于受限似然的近似,特别展示了如何利用 估计方程方法 判断近似的有效性。此外,过前的工作通常建议以当前观测的历史最近邻观测为条件,但我们通过理论、数值和实例表明,以一些远距离的观测为条件,通常也可以带来相当大的好处。
〖原 文〗 Stein, M.L., Chi, Z. and Welty, L.J. (2004) ‘Approximating likelihoods for large spatial data sets’, Journal of the Royal Statistical Society: Series B (Statistical Methodology), 66(2), pp. 275–296. A ...