深度学习

【摘 要】 具有非平稳和各向异性协方差结构的空间过程通常用于建模、分析和预测复杂的环境现象。这些过程通常可以表示为在扭曲空间域上具有平稳和各向同性协方差结构的过程。然而，翘曲函数通常难以拟合并且不受限于单射，经常导致 “空间折叠” 。在这里，我们建议通过深度学习框架中的多个元素单射函数的组合来建模单射翘曲函数。我们考虑两种情况；首先，当这些函数知道一些需要估计的权重时，其次，当每层中的权重是随机的时。受深度学习和深度高斯过程的最新方法和技术进步的启发，我们采用近似贝叶斯方法使用图形处理单元对这些模型进行推断。通过一维和二维的模拟研究，我们表明深度成分空间模型可以快速拟合，并且能够提供比类似复杂度的其他深度随机模型更好的预测和不确定性量化。我们还展示了他们使用 Aqua 卫星上 MODIS 仪器的辐射对非平稳、各向异性空间数据进行建模的非凡能力。 【原 文】 Zammit-Mangion, A. et al. (2022) ‘Deep compositional spatial models’, Journal of the American Statistical Ass ...

1 高斯过程（场）与深度学习的结合 参见 《神经网络高斯过程索引贴》。 2 高斯马尔可夫随机场与深度学习的结合 Sidén 2020 年的 《深度马尔可夫随机场》: 高斯马尔可夫随机场 (GMRF) 是一种广泛应用于空间统计和相关领域的概率图模型，用于模拟空间结构的依赖性。我们在 GMRF 和卷积神经网络 (CNN) 之间建立了正式联系。常见的 GMRF 是生成模型的特例，其中从数据到潜在变量的逆映射由 1 层线性 CNN 给出。这种连接使我们能够将 GMRF 推广到多层 CNN 架构，以一种有利于计算缩放的方式有效地增加相应 GMRF 的阶数。我们描述了如何使用成熟的工具（例如 autodiff 和变分推理）来简单有效地推理和学习深度 GMRF。我们展示了所提出模型的灵活性，并表明它在预测和预测不确定性方面优于卫星温度数据集上的最新技术。 3 空间统计与深度学习的结合–综述 Wikle 2022 年的 《空间数据和时空数据的统计深度学习》: 近年来，深度神经网络模型变得无处不在，并已应用于几乎所有科学、工程和工业领域。这些模型对于在空间（例如，图像）和时间（例如，序列）中 ...

【摘 要】 当标准似然估计方法在计算上不可行时，我们建议使用深度学习来估计统计模型中的参数。我们展示了如何从最大稳定过程中估计参数，其中即使使用小数据集进行推理也非常具有挑战性，但模拟很简单。我们使用来自模型模拟的数据作为输入并训练深度神经网络来学习统计参数。我们基于神经网络的方法为当前方法提供了一种有竞争力的替代方法，这一点在相当大的准确性和计算时间改进中得到了证明。它作为统计参数估计中深度学习的概念证明，可以扩展到其他估计问题。 【原 文】 Lenzi, A. et al. (2021) ‘Neural Networks for Parameter Estimation in Intractable Models’. arXiv. Available at: http://arxiv.org/abs/2107.14346 (Accessed: 15 November 2022). 1 简介 由于数据存储和传感器技术的进步，越来越多的大型数据集不可避免地显示出复杂的依赖关系，给统计建模和预测带来了新的机遇和新的挑战。环境过程给出了一个重要的例子，数据集可以在多个空间和时间 ...

【摘 要】 当标准似然估计方法在计算上不可行时，我们建议使用深度学习来估计统计模型中的参数。我们展示了如何从最大稳定过程中估计参数，其中即使使用小数据集进行推理也非常具有挑战性，但模拟很简单。我们使用来自模型模拟的数据作为输入并训练深度神经网络来学习统计参数。我们基于神经网络的方法为当前方法提供了一种有竞争力的替代方法，这一点在相当大的准确性和计算时间改进中得到了证明。它作为统计参数估计中深度学习的概念证明，可以扩展到其他估计问题。 【原 文】 Lenzi, A. et al. (2021) ‘Neural Networks for Parameter Estimation in Intractable Models’. arXiv. Available at: http://arxiv.org/abs/2107.14346 (Accessed: 15 November 2022). 1 简介 由于数据存储和传感器技术的进步，越来越多的大型数据集不可避免地显示出复杂的依赖关系，给统计建模和预测带来了新的机遇和新的挑战。环境过程给出了一个重要的例子，数据集可以在多个空间和时间 ...

【摘 要】 对于空间克里金预测，高斯过程 (GP) 几十年来一直是空间统计学家的首选工具。然而，高斯过程受到计算困难的困扰，使其无法用于大型空间数据集。另一方面，神经网络 (NN) 已成为一种灵活且计算上可行的捕获非线性关系的方法。然而，迄今为止，神经网络仅很少用于解决空间统计问题，但它们的使用已开始扎根。在这项工作中，我们论证了神经网络和高斯过程之间的等价性，并演示了如何为大型空间数据的克里金法实施神经网络。我们比较了神经网络的计算效率和预测能力与高斯过程近似在各种大空间高斯、非高斯和二进制数据应用程序中的计算效率和预测能力，大小高达 n=106n = 10^6n=106。我们的结果表明，完全连接的神经网络的性能与状态相似用于短期预测的最先进的高斯过程近似模型，但可能会受到更长期预测的影响。 【原 文】 Gray, S.D. et al. (2022) ‘On the Use of Deep Neural Networks for Large-Scale Spatial Prediction’, Journal of Data Science, pp. 493–511. ...

【摘 要】 在空间统计中，利用空间依赖性来预测未观测位置的空间过程值是一个共同的目标。克里金法使用协方差函数（或变异函数）提供了最佳线性无偏预测器，并且通常与高斯过程相关。但当考虑非高斯数据或分类数据的非线性预测问题时，克里金预测不再是最优的，而且其方差往往过于乐观。尽管深度神经网络 (DNN) 广泛用于分类和预测任务，但对具有空间依赖性的数据尚缺乏深入研究。在本文工作中，我们提出了一种用于空间预测的新型 DNN 结构，通过在 DNN 之前添加一个具有基函数的空间坐标嵌入层来捕获空间依赖性。理论和模拟研究结果表明：所提出的 DeepKriging 方法与高斯情况下的克里金法有直接联系。由于该方法提供的是非线性预测，因此相较于克里金法而言，新方法对于非高斯和非平稳数据会有更多优势，也具有更小的近似误差。DeepKriging 不需要对协方差矩阵进行运算，因此可扩展到大型数据集。当具有足够多隐神经元时，它能够根据模型容量提供最佳预测。我们进一步探讨了在不假设任何数据分布的情况下，基于密度预测来量化预测不确定性的可能性。最后，我们将该方法应用于预测整个美国大陆的 PM2.5 浓度 ...

【摘 要】 地球科学家越来越多地处理“大数据”。对于涉及空间建模和制图的应用程序，克里金法的变体——南非采矿工程师 Danie Krige 开发的空间插值技术——长期以来一直被视为成熟的地质统计方法。然而，克里金法及其变体（例如回归克里金法，其中辅助变量或这些变量的导数作为协变量包含在内）是相对受限的模型，并且缺乏深度神经网络在过去十年左右为我们提供的功能。其中最主要的是特征学习：学习过滤器以识别网格数据（例如图像）中特定于任务的模式的能力。在这里，我们通过展示深度神经网络如何自动学习点采样目标变量和网格化辅助变量（例如遥感提供的辅助变量）之间的复杂关系，展示了地统计学背景下特征学习的力量，并在此过程中产生所选目标变量的详细地图。同时，为了满足需要良好校准概率的决策者的需求，我们展示了如何通过称为蒙特卡洛 Dropout 的贝叶斯近似从深度神经网络获得任意和认知不确定性估计。在我们的示例中，我们根据点采样观测生成全国范围的概率地球化学图，并使用地形高程网格提供的辅助数据。与传统的地质统计方法不同，辅助变量网格被原始输入到我们的深度神经网络中。无需提供导数（例如倾斜角、地形情 ...

【摘 要】  时空数据在农业、生态和环境科学中无处不在，研究它们对于理解和预测各种过程非常重要。对随时间变化的空间过程建模的困难之一是必须描述这种过程如何变化的依赖结构的复杂性，以及高维复杂数据集和大型预测域的存在。为非线性动态时空模型 (DSTM) 指定参数化尤其具有挑战性，这些模型在科学上和计算上都非常有用。统计学家开发了深层分层模型，可以适应过程的复杂性以及预测和推断中的不确定性。然而，这些模型可能很昂贵并且通常是特定于应用程序的。另一方面，机器学习社区已经为非线性时空建模开发了替代的“深度学习”方法。这些模型很灵活，但通常不会在概率框架中实现。这两种范式有许多共同点，并提出了可以从每个框架的元素中受益的混合方法。这篇概述论文简要介绍了深度分层 DSTM (DH-DSTM) 框架和机器学习中的深度模型，最后介绍了深度神经网络动态时空模型 (DN-DSTM)，将来自 DH-DSTM 和 DN-DSTM 的要素结合起来的最新方法作为插图呈现。 【引 文】 C. K. Wikle, “Comparison of Deep Neural Networks and Deep H ...

【摘 要】 近年来，深度神经网络模型变得无处不在，并已应用于几乎所有科学、工程和工业领域。这些模型对于在空间（例如，图像）和时间（例如，序列）中具有强依赖性的数据特别有用。事实上，深度模型也被统计界广泛用于对空间和时空数据进行建模，例如，通过使用多级贝叶斯层次模型和深度高斯过程。在这篇综述中，我们首先概述了用于建模空间和时空数据的传统统计和机器学习视角，然后重点介绍了最近为隐过程、数据和参数定义开发的各种混合模型。这些混合模型将统计建模思想与深度神经网络模型相结合，以利用每种建模范式的优势。最后，我们概述了已证明对这些混合模型有用的计算技术，并简要讨论了未来的研究方向 【原 文】 K. Wikle and A. Zammit-Mangion, “Statistical Deep Learning for Spatial and Spatio-Temporal Data.” arXiv, Jun. 05, 2022. Accessed: Nov. 13, 2022. [Online]. Available: http://arxiv.org/abs/2206.02218 【作 ...

【摘 要】机器学习方法越来越多地用于从不断增长的地理空间数据流中提取模式和见解，但是当系统行为受空间或时间上下文支配时，当前的方法可能不是最优的。在这里，我们认为应该将这些上下文线索用作深度学习（ 一种能够自动提取时空特征的方法 ）的一部分，而不是仅仅对经典机器学习方法做修补，以获得对地球系统科学问题更进一步的过程理解。例如，改善季节性预报的预测能力、跨多个时间尺度的远距离空间连接性建模。下一个阶段将会是将 物理过程模型 与 数据驱动的机器学习多功能性 相结合的混合建模方法时代。 【原 文】 M. Reichstein, G. Camps-Valls, B. Stevens, M. Jung, J. Denzler, and N. Carvalhais, “Deep learning and process understanding for data-driven earth system science,” Nature, vol. 566, no. 7743, pp. 195–204, 2019. 【阅后感】2019年，德国马克斯普朗克研究所、美国劳伦斯伯克利实验室等 ...