空间统计深度学习

【摘 要】 具有非平稳和各向异性协方差结构的空间过程通常用于建模、分析和预测复杂的环境现象。这些过程通常可以表示为在扭曲空间域上具有平稳和各向同性协方差结构的过程。然而，翘曲函数通常难以拟合并且不受限于单射，经常导致 “空间折叠” 。在这里，我们建议通过深度学习框架中的多个元素单射函数的组合来建模单射翘曲函数。我们考虑两种情况；首先，当这些函数知道一些需要估计的权重时，其次，当每层中的权重是随机的时。受深度学习和深度高斯过程的最新方法和技术进步的启发，我们采用近似贝叶斯方法使用图形处理单元对这些模型进行推断。通过一维和二维的模拟研究，我们表明深度成分空间模型可以快速拟合，并且能够提供比类似复杂度的其他深度随机模型更好的预测和不确定性量化。我们还展示了他们使用 Aqua 卫星上 MODIS 仪器的辐射对非平稳、各向异性空间数据进行建模的非凡能力。 【原 文】 Zammit-Mangion, A. et al. (2022) ‘Deep compositional spatial models’, Journal of the American Statistical Ass ...

1 高斯过程（场）与深度学习的结合 参见 《神经网络高斯过程索引贴》。 2 高斯马尔可夫随机场与深度学习的结合 Sidén 2020 年的 《深度马尔可夫随机场》: 高斯马尔可夫随机场 (GMRF) 是一种广泛应用于空间统计和相关领域的概率图模型，用于模拟空间结构的依赖性。我们在 GMRF 和卷积神经网络 (CNN) 之间建立了正式联系。常见的 GMRF 是生成模型的特例，其中从数据到潜在变量的逆映射由 1 层线性 CNN 给出。这种连接使我们能够将 GMRF 推广到多层 CNN 架构，以一种有利于计算缩放的方式有效地增加相应 GMRF 的阶数。我们描述了如何使用成熟的工具（例如 autodiff 和变分推理）来简单有效地推理和学习深度 GMRF。我们展示了所提出模型的灵活性，并表明它在预测和预测不确定性方面优于卫星温度数据集上的最新技术。 3 空间统计与深度学习的结合–综述 Wikle 2022 年的 《空间数据和时空数据的统计深度学习》: 近年来，深度神经网络模型变得无处不在，并已应用于几乎所有科学、工程和工业领域。这些模型对于在空间（例如，图像）和时间（例如，序列）中 ...

【摘 要】 当标准似然估计方法在计算上不可行时，我们建议使用深度学习来估计统计模型中的参数。我们展示了如何从最大稳定过程中估计参数，其中即使使用小数据集进行推理也非常具有挑战性，但模拟很简单。我们使用来自模型模拟的数据作为输入并训练深度神经网络来学习统计参数。我们基于神经网络的方法为当前方法提供了一种有竞争力的替代方法，这一点在相当大的准确性和计算时间改进中得到了证明。它作为统计参数估计中深度学习的概念证明，可以扩展到其他估计问题。 【原 文】 Lenzi, A. et al. (2021) ‘Neural Networks for Parameter Estimation in Intractable Models’. arXiv. Available at: http://arxiv.org/abs/2107.14346 (Accessed: 15 November 2022). 1 简介 由于数据存储和传感器技术的进步，越来越多的大型数据集不可避免地显示出复杂的依赖关系，给统计建模和预测带来了新的机遇和新的挑战。环境过程给出了一个重要的例子，数据集可以在多个空间和时间 ...

【摘 要】 当标准似然估计方法在计算上不可行时，我们建议使用深度学习来估计统计模型中的参数。我们展示了如何从最大稳定过程中估计参数，其中即使使用小数据集进行推理也非常具有挑战性，但模拟很简单。我们使用来自模型模拟的数据作为输入并训练深度神经网络来学习统计参数。我们基于神经网络的方法为当前方法提供了一种有竞争力的替代方法，这一点在相当大的准确性和计算时间改进中得到了证明。它作为统计参数估计中深度学习的概念证明，可以扩展到其他估计问题。 【原 文】 Lenzi, A. et al. (2021) ‘Neural Networks for Parameter Estimation in Intractable Models’. arXiv. Available at: http://arxiv.org/abs/2107.14346 (Accessed: 15 November 2022). 1 简介 由于数据存储和传感器技术的进步，越来越多的大型数据集不可避免地显示出复杂的依赖关系，给统计建模和预测带来了新的机遇和新的挑战。环境过程给出了一个重要的例子，数据集可以在多个空间和时间 ...

【摘 要】 对于空间克里金预测，高斯过程 (GP) 几十年来一直是空间统计学家的首选工具。然而，高斯过程受到计算困难的困扰，使其无法用于大型空间数据集。另一方面，神经网络 (NN) 已成为一种灵活且计算上可行的捕获非线性关系的方法。然而，迄今为止，神经网络仅很少用于解决空间统计问题，但它们的使用已开始扎根。在这项工作中，我们论证了神经网络和高斯过程之间的等价性，并演示了如何为大型空间数据的克里金法实施神经网络。我们比较了神经网络的计算效率和预测能力与高斯过程近似在各种大空间高斯、非高斯和二进制数据应用程序中的计算效率和预测能力，大小高达 n=106n = 10^6n=106。我们的结果表明，完全连接的神经网络的性能与状态相似用于短期预测的最先进的高斯过程近似模型，但可能会受到更长期预测的影响。 【原 文】 Gray, S.D. et al. (2022) ‘On the Use of Deep Neural Networks for Large-Scale Spatial Prediction’, Journal of Data Science, pp. 493–511. ...

【摘 要】 高斯马尔可夫随机场 (GMRF) 是一种广泛应用于空间统计和相关领域的概率图模型，用于模拟空间结构的依赖性。本文在高斯马尔可夫随机场和卷积神经网络 (CNN) 之间建立了正式联系。普通的高斯马尔可夫随机场是生成模型的一个特例，其中从数据到隐变量的逆映射由单层线性卷积神经网络给出。这种连接关系使我们能够将高斯马尔可夫随机场推广到多层 CNN 架构，以一种有利于计算伸缩性的方式有效增加相应高斯马尔可夫随机场的阶数。我们描述了如何使用成熟工具（例如 自动微分和变分推断）来简单有效地推断和学习深度高斯马尔可夫随机场。我们展示了所提出模型的灵活性，并在卫星温度数据集上表明了其在预测准确性和不确定性方面优于的目前最好的技术。 【原 文】 Sidén, P. and Lindsten, F. (2020) ‘Deep Gaussian Markov Random Fields’. arXiv. Available at: http://arxiv.org/abs/2002.07467 (Accessed: 15 November 2022). 1 引言 在对大量图像进行训练时 ...

【摘 要】 在空间统计中，利用空间依赖性来预测未观测位置的空间过程值是一个共同的目标。克里金法使用协方差函数（或变异函数）提供了最佳线性无偏预测器，并且通常与高斯过程相关。但当考虑非高斯数据或分类数据的非线性预测问题时，克里金预测不再是最优的，而且其方差往往过于乐观。尽管深度神经网络 (DNN) 广泛用于分类和预测任务，但对具有空间依赖性的数据尚缺乏深入研究。在本文工作中，我们提出了一种用于空间预测的新型 DNN 结构，通过在 DNN 之前添加一个具有基函数的空间坐标嵌入层来捕获空间依赖性。理论和模拟研究结果表明：所提出的 DeepKriging 方法与高斯情况下的克里金法有直接联系。由于该方法提供的是非线性预测，因此相较于克里金法而言，新方法对于非高斯和非平稳数据会有更多优势，也具有更小的近似误差。DeepKriging 不需要对协方差矩阵进行运算，因此可扩展到大型数据集。当具有足够多隐神经元时，它能够根据模型容量提供最佳预测。我们进一步探讨了在不假设任何数据分布的情况下，基于密度预测来量化预测不确定性的可能性。最后，我们将该方法应用于预测整个美国大陆的 PM2.5 浓度 ...

【摘 要】 地球科学家越来越多地处理“大数据”。对于涉及空间建模和制图的应用程序，克里金法的变体——南非采矿工程师 Danie Krige 开发的空间插值技术——长期以来一直被视为成熟的地质统计方法。然而，克里金法及其变体（例如回归克里金法，其中辅助变量或这些变量的导数作为协变量包含在内）是相对受限的模型，并且缺乏深度神经网络在过去十年左右为我们提供的功能。其中最主要的是特征学习：学习过滤器以识别网格数据（例如图像）中特定于任务的模式的能力。在这里，我们通过展示深度神经网络如何自动学习点采样目标变量和网格化辅助变量（例如遥感提供的辅助变量）之间的复杂关系，展示了地统计学背景下特征学习的力量，并在此过程中产生所选目标变量的详细地图。同时，为了满足需要良好校准概率的决策者的需求，我们展示了如何通过称为蒙特卡洛 Dropout 的贝叶斯近似从深度神经网络获得任意和认知不确定性估计。在我们的示例中，我们根据点采样观测生成全国范围的概率地球化学图，并使用地形高程网格提供的辅助数据。与传统的地质统计方法不同，辅助变量网格被原始输入到我们的深度神经网络中。无需提供导数（例如倾斜角、地形情 ...

【摘 要】 地球系统模型 (ESM) 是量化地球物理状态并预测未来可能发生的变化的主要工具。然而，近年来，人工智能 (AI) 方法越来越多地用于增强甚至取代经典的地球系统模型任务，这让人们对人工智能能够解决气候科学的一些重大挑战产生了希望。在此观点中，我们调查了过程模型和 AI 在地球系统和气候研究中的最新成就和局限性，并提出了一种方法论转变，其中深度神经网络和地球系统模型被区分为单独的方法，并重新组合为学习、自我验证和可解释的地球系统模型-神经网络混合体。沿着这条道路，我们创造了术语 神经地球系统建模。我们研究了神经地球系统建模的并发潜力和陷阱，并讨论了人工智能是否可以支持地球系统模型甚至最终使它们过时的悬而未决的问题。 【原 文】 Irrgang, C. et al. (2021) ‘Towards neural Earth system modelling by integrating artificial intelligence in Earth system science’, Nature Machine Intelligence, 3(8), pp. 667 ...

【摘 要】  时空数据在农业、生态和环境科学中无处不在，研究它们对于理解和预测各种过程非常重要。对随时间变化的空间过程建模的困难之一是必须描述这种过程如何变化的依赖结构的复杂性，以及高维复杂数据集和大型预测域的存在。为非线性动态时空模型 (DSTM) 指定参数化尤其具有挑战性，这些模型在科学上和计算上都非常有用。统计学家开发了深层分层模型，可以适应过程的复杂性以及预测和推断中的不确定性。然而，这些模型可能很昂贵并且通常是特定于应用程序的。另一方面，机器学习社区已经为非线性时空建模开发了替代的“深度学习”方法。这些模型很灵活，但通常不会在概率框架中实现。这两种范式有许多共同点，并提出了可以从每个框架的元素中受益的混合方法。这篇概述论文简要介绍了深度分层 DSTM (DH-DSTM) 框架和机器学习中的深度模型，最后介绍了深度神经网络动态时空模型 (DN-DSTM)，将来自 DH-DSTM 和 DN-DSTM 的要素结合起来的最新方法作为插图呈现。 【引 文】 C. K. Wikle, “Comparison of Deep Neural Networks and Deep H ...