🔥 空间统计深度学习索引帖

1 高斯过程（场）与深度学习的结合

2 高斯马尔可夫随机场与深度学习的结合

Sidén 2020 年的《深度马尔可夫随机场》: 高斯马尔可夫随机场 (GMRF) 是一种广泛应用于空间统计和相关领域的概率图模型，用于模拟空间结构的依赖性。我们在 GMRF 和卷积神经网络 (CNN) 之间建立了正式联系。常见的 GMRF 是生成模型的特例，其中从数据到潜在变量的逆映射由 1 层线性 CNN 给出。这种连接使我们能够将 GMRF 推广到多层 CNN 架构，以一种有利于计算缩放的方式有效地增加相应 GMRF 的阶数。我们描述了如何使用成熟的工具（例如 autodiff 和变分推理）来简单有效地推理和学习深度 GMRF。我们展示了所提出模型的灵活性，并表明它在预测和预测不确定性方面优于卫星温度数据集上的最新技术。

3 空间统计与深度学习的结合–综述

Wikle 2022 年的《空间数据和时空数据的统计深度学习》: 近年来，深度神经网络模型变得无处不在，并已应用于几乎所有科学、工程和工业领域。这些模型对于在空间（例如，图像）和时间（例如，序列）中具有强依赖性的数据特别有用。事实上，深度模型也被统计界广泛用于对空间和时空数据进行建模，例如，通过使用多级贝叶斯层次模型和深度高斯过程。在这篇综述中，我们首先概述了用于建模空间和时空数据的传统统计和机器学习视角，然后重点介绍了最近为隐过程、数据和参数定义开发的各种混合模型。这些混合模型将统计建模思想与深度神经网络模型相结合，以利用每种建模范式的优势。最后，我们概述了已证明对这些混合模型有用的计算技术，并简要讨论了未来的研究方向

Wikle 2019 年的《深度神经网络和时空数据深度分层模型比较》: 时空数据在农业、生态和环境科学中无处不在，研究它们对于理解和预测各种过程非常重要。对随时间变化的空间过程建模的困难之一是必须描述这种过程如何变化的依赖结构的复杂性，以及高维复杂数据集和大型预测域的存在。为非线性动态时空模型 (DSTM) 指定参数化尤其具有挑战性，这些模型在科学上和计算上都非常有用。统计学家开发了深层分层模型，可以适应过程的复杂性以及预测和推断中的不确定性。然而，这些模型可能很昂贵并且通常是特定于应用程序的。另一方面，机器学习社区已经为非线性时空建模开发了替代的“深度学习”方法。这些模型很灵活，但通常不会在概率框架中实现。这两种范式有许多共同点，并提出了可以从每个框架的元素中受益的混合方法。这篇概述论文简要介绍了深度分层 DSTM (DH-DSTM) 框架和机器学习中的深度模型，最后介绍了深度神经网络动态时空模型 (DN-DSTM)，将来自 DH-DSTM 和 DN-DSTM 的要素结合起来的最新方法作为插图呈现。

4 点参考数据与统计深度学习

（1）空间预测

Chen 等 2022 年的《深度克里金法（DeepKriging）》: 在空间统计中，一个共同的目标是通过利用空间依赖性来预测未观察到的位置的空间过程的值。克里金法使用协方差函数提供最佳线性无偏预测器，并且通常与高斯过程相关联。然而，当考虑非高斯和分类数据的非线性预测时，克里金预测不再是最优的，并且相关的方差往往过于乐观。尽管深度神经网络 (DNN) 广泛用于一般分类和预测，但尚未对具有空间依赖性的数据进行深入研究。在这项工作中，我们提出了一种用于空间预测的新型 DNN 结构，其中通过添加具有基函数的空间坐标嵌入层来捕获空间依赖性。我们在理论和模拟研究中表明，所提出的 DeepKriging 方法与高斯情况下的克里金法有直接联系，并且对于非高斯和非平稳数据，它比克里金法具有多重优势，即它提供非线性预测，因此具有较小的近似误差，它不需要对协方差矩阵进行操作，因此可扩展到大型数据集，并且具有足够多的隐藏神经元，它提供了模型容量方面的最佳预测。我们进一步探讨了在不假设任何数据分布的情况下基于密度预测量化预测不确定性的可能性。最后，我们将该方法应用于预测整个美国大陆的 PM2.5 浓度。 Grey、Heaton 等 2022 年的《深度神经网络在大规模空间预测中的应用》对其进行了试验。

Kirkwood 2020 年的《地统计学中的贝叶斯深度学习》: 通过深度神经网络自动学习点参考数据和网格化辅助变量（例如遥感提供的辅助变量）之间的复杂关系；通过 MC Dropout 从深度神经网络获得任意和认知不确定性估计。试验采用了全国范围的点参考地球化学数据，集合地形高程网格辅助数据。

Zammit-Mangion 等 2020 年的《Deep Integro-Difference Equation Models for Spatio-Temporal Forecasting》：在分层统计建模框架中使用了深度卷积神经网络来学习时间和空间依赖性，结合卡尔曼滤波器快速在线完成概率预测，而无需重复进行参数估计。作者使用北大西洋 13 年的每日海面温度数据来训练模型，预测被认为是准确和经过校准的。作者认为其方法的关键优势在于 CNN 为时空动态提供了一个全局先验模型，并且可解释和计算高效。

Zammit-Mangion 等 2022 年的《Deep Compositional Spatial Models》：面向非平稳、各向异性协方差结构的空间过程建模需求， 将其视为一个在扭曲空间域上具有平稳和各向同性协方差结构的派生过程。作者尝试通过在扭曲时空域上对平稳过程进行建模来构建描述性的非平稳时空模型。经过变形后，扭曲域上的平稳时空协方差函数会导致原始域上的协方差非平稳性。作者采用的基本方法有些类似归一化流，不过希望通过多个基本的单射函数的组合来对变形函数进行建模。在面临大 $n$ 问题时，作者采用了 Cressie 等提出的 固定秩 方法来提升计算效率。

Vu，Zammit-Mangion 等 2023 年的《Constructing large nonstationary spatio-temporal covariance models via compositional warpings》：与《Deep Compositional Spatial Models》一文呼应，但作者认为 Zammit-Mangion 等采用固定秩方法会导致结果过于平滑，因此采用了高秩的 Vecchia 近似方法。

（2）模型推断

Lenzi 等 2021 年的《神经网络用于难处理模型的参数估计》：面向标准似然估计方法在计算上不可行的场景，提出一种使用深度学习来估计统计模型中的参数的方法。

Gerber 等 2021 年的 [《使用神经网络实现空间高斯过程模型的快速协方差参数估计》])() ：在高斯过程模型中，通常几个参数就足以参数化协方差函数（在高斯过程领域中，通常被称为超参数），并且可以使用最大似然 (ML) 方法从数据中估计这些参数。但传统机器学习方法在计算上要求很高。本文提出使用神经网络方法来实现参数近似估计的想法，训练神经网络输入中等大小的空间场或变差函数，返回变程（即长度尺度范围）和噪声信号协方差参数（即 $\sigma^2_{noise}$ ）。经过训练后，神经网络提供的估计与机器学习估计具有相似的精度，并且速度提高了 $100$ 倍或更多。

（3）随机模拟

暂未接触。

5 面元数据与统计深度学习

暂未接触。

6 地球系统科学与深度学习的结合

Reichstein 2019 年的《数据驱动地球系统科学的深度学习和过程理解》: 机器学习方法越来越多地用于从不断增长的地理空间数据流中提取模式和见解，但是当系统行为受空间或时间上下文支配时，当前的方法可能不是最优的。在这里，我们认为应该将这些上下文线索用作深度学习（一种能够自动提取时空特征的方法）的一部分，而不是仅仅对经典机器学习方法做修补，以获得对地球系统科学问题更进一步的过程理解。例如，改善季节性预报的预测能力、跨多个时间尺度的远距离空间连接性建模。下一个阶段将会是将物理过程模型与数据驱动的机器学习多功能性相结合的混合建模方法时代。

Irrgang 2021 年的《地球系统科学中的神经地球系统建模》: 地球系统模型 (ESM) 是量化地球物理状态并预测未来可能发生的变化的主要工具。然而，近年来，人工智能 (AI) 方法越来越多地用于增强甚至取代经典的地球系统模型任务，这让人们对人工智能能够解决气候科学的一些重大挑战产生了希望。在此观点中，我们调查了过程模型和 AI 在地球系统和气候研究中的最新成就和局限性，并提出了一种方法论转变，其中深度神经网络和地球系统模型被区分为单独的方法，并重新组合为学习、自我验证和可解释的地球系统模型-神经网络混合体。沿着这条道路，我们创造了术语 神经地球系统建模。我们研究了神经地球系统建模的并发潜力和陷阱，并讨论了人工智能是否可以支持地球系统模型甚至最终使它们过时的悬而未决的问题。