地统计数据

【摘 要】由于空间数据的复杂性，使其统计建模非常困难。分层建模方法由于能够对模型进行分解，从而使建模和推断变得更具可操作性，因此在空间统计学领域得到快速应用和发展。而本文正是围绕空间数据的分层建模方法展开的。文中涉及通用分层建模方法、地统计中的分层建模、广义线性模型的分层建模等内容，以及相应的推断问题。本文内容摘自 Gelfand 的 《空间统计手册》第七章。 【原 文】 Gelfand, A.E. et al. (2010)， Handbook of spatial statistics (chapter 7). CRC press. 7.1 简介 在空间统计中，人们通常必须在存在复杂过程、多个数据源、参数化不确定性和不同程度的科学知识的情况下开发统计模型。人们可以从联合或条件的角度来处理这些复杂的问题。虽然从联合角度考虑过程可能很直观，但这种方法可能对统计建模提出严重挑战。例如，可能很难为相关空间数据集指定联合多元依赖结构。将此类联合分布分解为一系列条件模型可能会容易得多。例如，考虑以近地表环境空气温度为条件的近地表臭氧过程（尤其是在夏季）比同时考虑臭氧和温度过程更简 ...

【摘 要】在空间统计学中，点参考数据模型通常采用高斯过程（场）建模，而超参数的推断则主要有基于经验的矩量估计法和基于似然的统计推断方法。本文主要介绍基于似然的统计推断方法。文中涉及最大似然估计、受限最大似然估计、组合似然近似估计、渐进特性分析等内容。本文内容摘自 Gelfand 的 《空间统计手册》第四章。 【原 文】 Gelfand, A.E. et al. (2010)， Handbook of spatial statistics (chapter 4). CRC press. 关于似然方法的基础资料见： 参见 普度大学机器人视觉实验室的 《最大似然、最大后验与贝叶斯方法的区别》 参见 Reid 等 2010 年的 《似然函数与基于似然的推断》 参见 Cousineau 等 2016 年 《似然概念的扫盲帖》 对非似然方法感兴趣的同学，可以阅读： 参见 《近似贝叶斯计算（ABC）索引贴》 4.1 概述 上一章考虑了结合使用矩量法和最小二乘法来估计地质统计模型的参数（参见 《点参考数据及克里金法》 ）。这些方法统称为 “经典地质统计学” ，通常不 ...

〖摘 要〗高斯过程 (GP) 模型是可以用于回归、分类和其他任务的概率非参数模型。它们在大型数据集上存在计算困难的问题。在过去的十年中，已经开发了许多不同的近似来降低此成本。其中大部分方法可以被称为全局近似，因为它们试图通过一小组支撑点来总结所有训练数据。一种不同的方法是局部回归，其中许多局部专家占据自己的部分空间。在本文中，我们首先研究这些不同方法在哪些情况下会运作良好或失败。然后继续开发一种新的稀疏高斯过程近似，它是全局和局部方法的组合。从理论上讲，我们证明它是 Quinonero-Candela 和 Rasmussen [2005] 提出的稀疏高斯过程近似的自然扩展。我们在一些一维示例和一些大型现实世界数据集上展示了组合近似的好处。 〖原 文〗 Snelson, Edward, and Zoubin Ghahramani. “Local and Global Sparse Gaussian Process Approximations.” In Proceedings of the Eleventh International Conference on Artifi ...

【摘 要】大数据带来的海量信息以及不断发展的计算机硬件鼓励了机器学习社区的成功案例。同时，它对高斯过程回归 (GPR) 提出了挑战，高斯过程回归是一种众所周知的非参数且可解释的贝叶斯模型，其具有数据规模的三次方复杂性。为了在保持理想预测质量同时，能够提高扩展性，业界已经提出了各种可扩展高斯过程。然而，它们还没有得到全面的回顾和分析，以得到学术界和工业界的充分理解。由于数据量的爆炸式增长，在高斯过程社区中对可扩展高斯过程进行回顾是及时且必要的。为此，本文致力于回顾涉及两个主要类别的最先进的可扩展高斯过程：一是提炼完整数据的全局近似，二是划分数据以进行子空间学习的局部近似。对于全局近似，我们主要关注稀疏近似，包括改进先验但执行精确推断的先验近似、保留精确先验但执行近似推断的后验近似、利用核（协方差）矩阵中特定结构的结构化稀疏近似。对于局部近似，我们突出了专家混合和专家乘积，这些专家方法对多个局部专家进行模型平均以提高预测。为了提供完整回顾，本文还介绍近年在提高可扩展高斯过程的扩展性和功能方面取得的进展。最后，回顾和讨论了可扩展高斯过程在各种场景中的扩展和开放问题，以激发未来研究 ...

1 无限模型表达 + 现代计算 有没有想过如何创建具有 无限表达能力 的非参数监督学习模型？看看 高斯过程回归 (GPR)，这是一种几乎完全根据数据本身学习做出预测的算法（在超参数的帮助下）。将此算法与自动微分等最新的计算进展相结合，可以应用高斯过程回归近乎实时地解决各种受监督的机器学习问题。 在本文中，我们将讨论： 高斯过程回归理论的简要概述/回顾 我们可以使用高斯过程回归解决的问题类型，以及一些例子 高斯过程回归与其他监督学习算法的比较 可以用来实现高斯过程回归的现代编程包和工具 这是我的高斯过程回归系列中的第二篇文章。如需从头开始对高斯过程回归进行严格的介绍，请查看我之前的文章 此处。 2 高斯过程回归的概念 在深入研究如何实现和使用高斯过程回归之前，先快速回顾一下这个监督机器学习算法背后的机制和理论。关于以下概念的详细推导/讨论，请查看我之前的文章《高斯过程回归》 的文章。 （i）以 观测到的 训练点为条件，预测测试点的 条件后验分布： （ii）将测试点目标的 均值 被预测为 已观测到的目标值的线性组合，这些线性组合的权重，则由从训练输入到测试点的核距离 ...

【摘 要】组合似然法是用于超大规模高斯随机场高效计算的主要方法之一，本文提供了对组合似然理论和应用的最新发展调查。论文考虑了一系列应用领域，包括地统计学、空间极值、时空模型、集群和纵向数据以及时间序列等。考虑到 Larribe 和 Fearnhead (2011) 已经发表了在统计遗传学方面的综述论文，本文省略了这一重要应用领域。本文重点介绍了组合似然理论发展、组合似然推断的效率和鲁棒性等知识现状。 【原 文】 Varin, C., Reid, N. and Firth, D. (2011) ‘AN OVERVIEW OF COMPOSITE LIKELIHOOD METHODS’, Statistica Sinica, 21(1), pp. 5–42. 1 简介 组合似然是通过将若干似然分量相乘得出的一个推断函数；所使用的似然分量集合通常由应用上下文决定。因为每个个体似然分量都是条件密度（或边缘密度，根据应用而定），所以从复合对数似然的导数得出的估计方程，是一个无偏估计方程。无论这些个体似然分量是否相互独立，根据其乘法所得到的推断函数都会包含所指定模型的似然性质。 本文回 ...

〖摘 要〗 高斯过程 （Gaussian Processes,高斯过程） 为贝叶斯推断提供了一个数学上优雅的框架，可以为大量问题提供原则性的不确定性估计。例如，对于某些具有高斯似然的回归问题，高斯过程模型具有封闭形式的后验。然而，后验高斯过程（高斯过程的后验依然是一个高斯过程分布，此处将之简称为后验高斯过程）的计算复杂度与训练样本数量成立方关系，并且所有训练样本均需要在内存中存储。为克服这些问题，已经提出了使用伪训练样本（也称为或）来获取近似后验高斯过程的方法 – 稀疏高斯过程（Sparse Gaussian Processes）。用户可以自己定义伪训练样本的数量，进而控制计算和内存复杂度。在一般情况下，稀疏高斯过程无法得到封闭解，必须求助于近似推断。在此情况下，变分推断是近似推断的一种选择。变分方法将贝叶斯推断问题转化为优化问题，通过最大化对数边缘似然下界（ ELBO\mathbb{ELBO}ELBO ）的方法，得到近似的后验分布。变分推断为构建强大且多功能的框架铺平了道路，在其训练过程中，伪训练样本与（先验和似然的）超参数一起，被视为待优化的参数。该框架可以扩展到更为广 ...

【阅读建议】 本文重点介绍点参考空间数据的贝叶斯建模和分析方法，尤其是贝叶斯分层建模框架。点参考数据（也被称为地统计数据）主要指在固定空间位置观测到的随机变量数据。过去二十年中，此类数据在空间和时间上的收集量已经大大增加，随之而来的是分析此类数据的大量方法。本文尝试对其中的贝叶斯方法进行回顾。此类分析方法的好处是能够进行全面而准确的推断，并对不确定性进行适当评估。地统计建模的测站数据虽然比较复杂，涉及单变量和多变量、连续型和类别型、静态和动态以及大量长时间观测结果等，但在贝叶斯分层模型框架内，可以统一进行描述和阐释。本文另一亮点在于对大规模观测数据的建模问题做了综述，介绍了降秩方法（高斯预测过程模型）和近邻方法（近邻高斯过程模型）两类主要的处理策略。 【引文信息】 A. E. Gelfand and S. Banerjee, “Bayesian Modeling and Analysis of Geostatistical Data,” Annu Rev Stat Appl, vol. 4, pp. 245–266, 2017, doi: 10.1146/annurev-s ...