🔥 深度组合空间模型
【摘 要】 具有非平稳和各向异性协方差结构的空间过程通常用于建模、分析和预测复杂的环境现象。这些过程通常可以表示为在扭曲空间域上具有平稳和各向同性协方差结构的过程。然而,翘曲函数通常难以拟合并且不受限于单射,经常导致 “空间折叠” 。在这里,我们建议通过深度学习框架中的多个元素单射函数的组合来建模单射翘曲函数。我们考虑两种情况;首先,当这些函数知道一些需要估计的权重时,其次,当每层中的权重是随机的时。受深度学习和深度高斯过程的最新方法和技术进步的启发,我们采用近似贝叶斯方法使用图形处理单元对这些模型进行推断。通过一维和二维的模拟研究,我们表明深度成分空间模型可以快速拟合,并且能够提供比类似复杂度的其他深度随机模型更好的预测和不确定性量化。我们还展示了他们使用 Aqua 卫星上 MODIS 仪器的辐射对非平稳、各向异性空间数据进行建模的非凡能力。
【原 文】 Zammit-Mangion, A. et al. (2022) ‘Deep compositional spatial models’, Journal of the American Statistical Ass ...
🔥 空间统计深度学习索引帖
1 高斯过程(场)与深度学习的结合
参见 《神经网络高斯过程索引贴》。
2 高斯马尔可夫随机场与深度学习的结合
Sidén 2020 年的 《深度马尔可夫随机场》: 高斯马尔可夫随机场 (GMRF) 是一种广泛应用于空间统计和相关领域的概率图模型,用于模拟空间结构的依赖性。我们在 GMRF 和卷积神经网络 (CNN) 之间建立了正式联系。常见的 GMRF 是生成模型的特例,其中从数据到潜在变量的逆映射由 1 层线性 CNN 给出。这种连接使我们能够将 GMRF 推广到多层 CNN 架构,以一种有利于计算缩放的方式有效地增加相应 GMRF 的阶数。我们描述了如何使用成熟的工具(例如 autodiff 和变分推理)来简单有效地推理和学习深度 GMRF。我们展示了所提出模型的灵活性,并表明它在预测和预测不确定性方面优于卫星温度数据集上的最新技术。
3 空间统计与深度学习的结合–综述
Wikle 2022 年的 《空间数据和时空数据的统计深度学习》: 近年来,深度神经网络模型变得无处不在,并已应用于几乎所有科学、工程和工业领域。这些模型对于在空间(例如,图像)和时间(例如,序列)中 ...
🔥 大规模点参考数据统计分析方法索引帖
〖摘 要〗 个人用于整理大规模点参考数据时空统计分析方法的汇总帖,大致分为克里金法和贝叶斯建模、高斯过程及其推断理论、大 n 问题及其对策、并行化策略和方法、与深度学习的结合等部分。目前主要兴趣点在大规模点参考数据的高效计算方法和统计深度学习方面。
1 基础地统计方法
(1)克里金法及经验估计
克里金方法发源于 1940 年代的地统计学领域,主要用于解决插值问题,因 Krige 1960 年的一篇硕士论文而命名。在 1990s 年代,克里金法在贝叶斯推断背景下被重新表述,并被称为 高斯过程回归,而相关函数(在克里金法中是半变异函数)的选择,则被视为一个机器学习问题。
自编的《点参考数据及克里金法》 : 介绍了传统地统计学的克里金方法,其本质上就是高斯过程,只是提供了一套以变异函数和克里金预测为核心的独立技术体系。
Gelfand (2017)的 《点参考数据贝叶斯建模综述》 : 系统地从贝叶斯建模角度重温了地统计方法,除简述克里金法外,还包括贝叶斯分层建模方法、大 N 问题的处理等介绍性文字。
2 高斯过程及其推断
从权重视角来看,高斯过程是多元高斯分布向无限维随机变量 ...
🔥 点参考数据模型索引帖
1 空间过程及平稳性假设
《随机过程与随机场》 : 将空间表面(Surface)视为空间随机过程的一次实现,并将点参考数据视为空间表面的一次不完整观测,是研究点参考数据的基本假设。在此假设下,构成空间数据集的 nnn 个具有地理参考的观测值集合,并不代表大小为 nnn 的样本,而是代表了对一次随机实验的不完整观测,是一个来自 nnn 维分布的大小为 111 的样本。这种假设对于理解点参考数据的统计模型非常重要,也同时使传统基于重复观测的统计方法失效。本文介绍了这种假设以及相关的概念和知识。该文中还有部分关于空间连续性和可微性的讨论,之前认为不重要,但后来细品一下可能涉及点参考数据和面元数据之间的转换问题,将来有时间可以配合《随机偏微分方程方法: 高斯场和高斯马尔可夫随机场之间的明确联系》 进一步理解。
2 经典克里金方法
点参考数据及克里金法(2005) : 本文介绍了传统地统计学中的克里金方法。该方法发源于 1940 年代的地统计学领域,主要用于解决插值问题,因 Krige 1960 年的一篇硕士论文而命名。克里金法是一种基于高斯过程假设的经验估计和预测方法,建立 ...
面向分析的随机计算机模型:回顾与机遇
【摘 要】在现代科学中,计算机模型经常被用来理解复杂的现象,一个蓬勃发展的统计社区围绕着分析它们而发展起来。这篇综述旨在关注日益流行的随机计算机模型——为从业者提供统计方法目录,为统计学家(无论是否熟悉确定性计算机模型)提供介绍性观点,并强调与以下方面相关的开放性问题从业者和统计学家。高斯过程代理模型在本次调研中占据中心位置,并解释了这些模型以及随机设置所需的几个扩展。讨论中突出了设计随机计算机实验和校准随机计算机模型的基本问题。带有数据和代码的指导性示例用于描述各种方法的实现和结果。
【原 文】 Baker, E. et al. (2022) ‘Analyzing Stochastic Computer Models: A Review with Opportunities’, Statistical Science, 37(1). Available at: https://doi.org/10.1214/21-STS822.
1 简介
计算机模型,也称为模拟器,到处都在使用。这些是描述和近似感兴趣过程的程序。该代码通常采用一组输入并产生一些输出。随机模拟器与确定性模拟 ...
空间数据的贝叶斯分层建模
【摘 要】由于空间数据的复杂性,使其统计建模非常困难。分层建模方法由于能够对模型进行分解,从而使建模和推断变得更具可操作性,因此在空间统计学领域得到快速应用和发展。而本文正是围绕空间数据的分层建模方法展开的。文中涉及通用分层建模方法、地统计中的分层建模、广义线性模型的分层建模等内容,以及相应的推断问题。本文内容摘自 Gelfand 的 《空间统计手册》第七章。
【原 文】 Gelfand, A.E. et al. (2010), Handbook of spatial statistics (chapter 7). CRC press.
7.1 简介
在空间统计中,人们通常必须在存在复杂过程、多个数据源、参数化不确定性和不同程度的科学知识的情况下开发统计模型。人们可以从联合或条件的角度来处理这些复杂的问题。虽然从联合角度考虑过程可能很直观,但这种方法可能对统计建模提出严重挑战。例如,可能很难为相关空间数据集指定联合多元依赖结构。将此类联合分布分解为一系列条件模型可能会容易得多。例如,考虑以近地表环境空气温度为条件的近地表臭氧过程(尤其是在夏季)比同时考虑臭氧和温度过程更简 ...
基于似然的的方法
【摘 要】在空间统计学中,点参考数据模型通常采用高斯过程(场)建模,而超参数的推断则主要有基于经验的矩量估计法和基于似然的统计推断方法。本文主要介绍基于似然的统计推断方法。文中涉及最大似然估计、受限最大似然估计、组合似然近似估计、渐进特性分析等内容。本文内容摘自 Gelfand 的 《空间统计手册》第四章。
【原 文】 Gelfand, A.E. et al. (2010), Handbook of spatial statistics (chapter 4). CRC press.
关于似然方法的基础资料见:
参见 普度大学机器人视觉实验室的 《最大似然、最大后验与贝叶斯方法的区别》
参见 Reid 等 2010 年的 《似然函数与基于似然的推断》
参见 Cousineau 等 2016 年 《似然概念的扫盲帖》
对非似然方法感兴趣的同学,可以阅读:
参见 《近似贝叶斯计算(ABC)索引贴》
4.1 概述
上一章考虑了结合使用矩量法和最小二乘法来估计地质统计模型的参数(参见 《点参考数据及克里金法》 )。这些方法统称为 “经典地质统计学” ,通常不 ...
条件自回归和本征自回归
13.1 引言
本章的目的是概述条件自回归和本征自回归。这些模型至少可以追溯到 Besag (1974),并且从那时起就被广泛用于模拟离散空间变化。
传统上,条件自回归已用于直接模拟在预定义图形或格结构上观测到的数据的空间依赖性。然后,推理通常基于似然或伪似然技术 (Besag, 1974; K̈unsch, 1987)。最近,条件自回归以模块化方式应用于(通常是贝叶斯)复杂层次模型。尽管确实存在一些替代方案(Breslow 和 Clayton,1993 年;Rue、Martino 和 Chopin,2009 年),但此类推理几乎总是使用马尔可夫链蒙特卡罗 (MCMC) 进行。在本章中,我们将描述最常用的条件自回归和本征自回归。重点将放在空间模型上,但我们还将讨论与自回归时间序列模型的关系。事实上,自回归时间序列模型是条件自回归的特例,探索这种关系有助于培养普通班级的直觉和理解力。
本章不会详细描述如何建立基于条件自回归先验分布的层次模型以及如何使用 MCMC 对其进行分析。有关详细讨论,请参阅 Banerjee、Carlin 和 Gelfand,2004 年;希格登, 2 ...
马尔可夫随机场
【摘 要】在空间统计学中,面元数据的空间统计建模通常是采用马尔可夫随机场实施的。本文针对单随机变量(随机过程)情况,介绍了其定义、性质、推断方法、分布的计算等内容,尤其突出了高斯马尔可夫随机场(GMRF)。内容摘自 Gelfand 的 《空间统计手册》第十二章。
【原 文】 Gelfand, A.E. et al. (2010), Handbook of spatial statistics (chapter 12). CRC press.
空间随机变量的有限集合的统计建模,通常通过马尔可夫随机场 (MRF) 完成。 MRF 是通过一组条件分布来指定的,其中每一个条件对应于某个分量在给定其他分量时的条件分布。这使人们能够每次只专注于单个随机变量,并导致了基于模拟的简单 MRF 计算程序,特别是利用马尔可夫链蒙特卡罗 (MCMC) 进行贝叶斯推断。
本章的主要目的是全面介绍高斯马尔可夫随机场( GMRF )的情况,重点是通用性质和高效计算方法。示例和应用将会出现在 第 13 章 和 第 14 章。我们将在本章最后讨论联合分布不是高斯的一般情况,特别是著名的 Hammersl ...
CAR 和 SAR 模型及其隐含的空间结构
【摘 要】 对空间参考数据中出现的空间相互作用进行建模通常是通过自回归模型将空间依赖性显式或隐式地纳入协方差结构来完成的。对于面元数据,两种常见的自回归模型是 条件自回归模型 (CAR) 和 同步自回归模型 (SAR)。这两种模型都会在协方差结构中通过邻居矩阵 W\mathbf{W}W 的函数产生空间依赖性,并且通常是 一个固定但未知的空间相关参数。本文详细研究了这些模型应用于不规则面元数据时隐含的关联结构,尝试证明它们的许多违反直觉或不切实际的结果。数据示例用于说明,其中使用不同的空间模型对美国全州平均 SAT 语言分数进行建模和检查空间结构。
【原 文】 Wall, M.M. (2004) ‘A close look at the spatial structure implied by the CAR and SAR models’, Journal of Statistical Planning and Inference, 121(2), pp. 311–324. Available at: https://doi.org/10/d2pjx8.
1 简介
在许多设 ...