🔥 点参考数据模型索引帖
1 空间过程及平稳性假设
《随机过程与随机场》 : 将空间表面(Surface)视为空间随机过程的一次实现,并将点参考数据视为空间表面的一次不完整观测,是研究点参考数据的基本假设。在此假设下,构成空间数据集的 nnn 个具有地理参考的观测值集合,并不代表大小为 nnn 的样本,而是代表了对一次随机实验的不完整观测,是一个来自 nnn 维分布的大小为 111 的样本。这种假设对于理解点参考数据的统计模型非常重要,也同时使传统基于重复观测的统计方法失效。本文介绍了这种假设以及相关的概念和知识。该文中还有部分关于空间连续性和可微性的讨论,之前认为不重要,但后来细品一下可能涉及点参考数据和面元数据之间的转换问题,将来有时间可以配合《随机偏微分方程方法: 高斯场和高斯马尔可夫随机场之间的明确联系》 进一步理解。
2 经典克里金方法
点参考数据及克里金法(2005) : 本文介绍了传统地统计学中的克里金方法。该方法发源于 1940 年代的地统计学领域,主要用于解决插值问题,因 Krige 1960 年的一篇硕士论文而命名。克里金法是一种基于高斯过程假设的经验估计和预测方法,建立 ...
🔥 空间统计学概论
空间统计学概论
1 统计学的两大流派
(1)频率学派
认为模型的待估计参数是一个未知的常数,而样本是随机的,通过对随机样本的分析,可以计算获得参数的值。
基本思想(对事件建模)
「随机事件本身具有某种客观的随机性」,需要研究一系列工具来刻画「事件」本身
事件A在独立重复试验中发生的频率趋于极限 ppp ,那么极限 ppp 就是该事件的概率
参数估计时
主要是对模型做假设,但不对参数的分布做假设
求参数符合样本的最优化解,通过正则化解决过拟合问题
如:极大似然估计、最小交叉熵、最小二乘估计…
预测时
预测的结果:参数支持下确定的结果
结果不确定性的量化:通过方差来量化不确定性
核心体现为最优化问题
需要通过最优化算法求得参数的数值解
代表性模型
SVM等各种统计机器学习方法、前馈神经网络…
(2)贝叶斯学派
认为模型的待估计参数是一个随机变量,而样本是固定的,通过对样本的学习不断更新经验,能够使对参数的分布认识更准确。
基本思想(对人的知识建模)
「随机事件」是因「观察者」知识状态中尚未包含该事件的结果而导致,需要通过观察 ...
🔥 时空间统计专题索引帖
随着人们对时间维度的探索需求,时空统计学得到大力发展。其中:
时空点数据:空间统计学中的点参考数据转变为时空点数据,可以采用
面板数据(或称纵向数据):空间统计学中的点参考数据转变为时空点数据,可以采用
时空点过程:空间统计学中的点参考数据转变为时空点数据,可以采用
5.1 基础理论与综述
经典书籍参见:
Cressie, N. (2011) Statistics for spatio-temporal data.
Wikle, C.K., Zammit-Mangion, A. and Cressie, N.A.C. (2019) Spatio-temporal statistics with R. Boca Raton: CRC Press, Taylor & Francis Group (Chapman & Hall/CRC the R series).
Sahu, S.K. (2022) Bayesian modeling of spatio-temporal data with R. Chapman and Hall/CRC.
5.2 时空数 ...
🔥 空间随机场建模方法索引帖
1. 空间统计建模思维
空间思维及贝叶斯方法
贝叶斯分层模型
2. 克里金法与高斯过程基础
克里金法
高斯过程基本原理索引帖
克里金法与高斯过程的联系
3. 空间随机场及其建模方法
空间随机场及其建模方法
空间过程的贝叶斯建模分析方法综述
空间数据的贝叶斯分层建模
在点参考数据的建模理论基础上,发展出了一系列分析方法,详见 点参考数据模型索引帖。
#refplus, #refplus li{
padding:0;
margin:0;
list-style:none;
};
document.querySelectorAll(".refplus-num").forEach((ref) => {
let refid = ref.firstChild.href.replace(location.origin+location.pathname,'');
let refel = document.que ...
🔥 不确定性神经网络索引帖
#refplus, #refplus li{
padding:0;
margin:0;
list-style:none;
};
document.querySelectorAll(".refplus-num").forEach((ref) => {
let refid = ref.firstChild.href.replace(location.origin+location.pathname,'');
let refel = document.querySelector(refid);
let refnum = refel.dataset.num;
let ref_content = refel.innerText.replace(`[${refnum}]`,'');
tippy(ref, {
content: ref_content,
...
🔥 空间插值方法索引帖
1. 确定性空间插值
确定性插值方法将兴趣变量视为确定性变量,因此不考虑其随机性,其输出是确定性的值。插值方法主要基于数学公式或几何规则,不涉及概率或统计模型。
(1) 反距离加权法( Inverse Distance Weighting, IDW )
原理:未知点的值由已知点的值加权平均得到,权重与距离成反比。
公式:z^(x)=∑i=1nwizi∑i=1nwi,wi=1d(x,xi)p, \hat{z}(x) = \frac{\sum_{i=1}^n w_i z_i}{\sum_{i=1}^n w_i}, \quad w_i = \frac{1}{d(x, x_i)^p},
z^(x)=∑i=1nwi∑i=1nwizi,wi=d(x,xi)p1,
其中,Z(xi)Z ( x_i )Z(xi) 是已知点的值,d(x,xi)d ( x, x_i )d(x,xi) 是未知点与已知点的距离,ppp 是幂参数。
特点:
简单易用,计算速度快。
对数据分布敏感,可能导致“牛眼效应”。
(2) 泰森多边形法( Voronoi Diagram / ...
🔥 空间预测方法索引帖
#refplus, #refplus li{
padding:0;
margin:0;
list-style:none;
};
document.querySelectorAll(".refplus-num").forEach((ref) => {
let refid = ref.firstChild.href.replace(location.origin+location.pathname,'');
let refel = document.querySelector(refid);
let refnum = refel.dataset.num;
let ref_content = refel.innerText.replace(`[${refnum}]`,'');
tippy(ref, {
content: ref_content,
...
🔥 空间随机场理论索引帖
1 空间统计学的理论体系
“地统计学(Geostatistics)” 、 “空间计量经济学(Spatial Econometrics)” 、“点模式分析(Point Pattern Analysis)” 是空间统计学的三大基石。其中:
地统计学最早起源于地质探矿的采样、建模、分析和预测,侧重于点参考数据(如钻井、气象观测点等处的观测样本)的统计建模和分析,主要建模方法为 “空间随机场(spatial random field)”, ;
空间计量经济学则起源于区域经济规划、建模和分析,侧重于面元数据(如各种级别行政区划的经济要素样本)的统计建模和分析,主要建模方法为高斯马尔可夫随机场(Gaussian Markov Random Field, GMRF);
点模式分析则来源于空间信息科学领域,侧重于离散点的空间分布特征(如聚集、均匀分布等)、相关性和与环境的关系分析,主要建模为 “空间点过程(spatial point process)” 。
🔔 注意:本帖主要专注于空间随机场理论和方法体系,即地统计学相关的内容。
1.1 入门资料
传统的空间统计学于 20 世纪 9 ...
🔥 空间统计深度学习索引帖
1 高斯过程(场)与深度学习的结合
参见 《神经网络高斯过程索引贴》。
2 高斯马尔可夫随机场与深度学习的结合
Sidén 2020 年的 《深度马尔可夫随机场》: 高斯马尔可夫随机场 (GMRF) 是一种广泛应用于空间统计和相关领域的概率图模型,用于模拟空间结构的依赖性。我们在 GMRF 和卷积神经网络 (CNN) 之间建立了正式联系。常见的 GMRF 是生成模型的特例,其中从数据到潜在变量的逆映射由 1 层线性 CNN 给出。这种连接使我们能够将 GMRF 推广到多层 CNN 架构,以一种有利于计算缩放的方式有效地增加相应 GMRF 的阶数。我们描述了如何使用成熟的工具(例如 autodiff 和变分推理)来简单有效地推理和学习深度 GMRF。我们展示了所提出模型的灵活性,并表明它在预测和预测不确定性方面优于卫星温度数据集上的最新技术。
3 空间统计与深度学习的结合–综述
Wikle 2022 年的 《空间数据和时空数据的统计深度学习》: 近年来,深度神经网络模型变得无处不在,并已应用于几乎所有科学、工程和工业领域。这些模型对于在空间(例如,图像)和时间(例如,序列)中 ...
🔥 深度组合空间模型
【摘 要】 具有非平稳和各向异性协方差结构的空间过程通常用于建模、分析和预测复杂的环境现象。这些过程通常可以表示为在扭曲空间域上具有平稳和各向同性协方差结构的过程。然而,翘曲函数通常难以拟合并且不受限于单射,经常导致 “空间折叠” 。在这里,我们建议通过深度学习框架中的多个元素单射函数的组合来建模单射翘曲函数。我们考虑两种情况;首先,当这些函数知道一些需要估计的权重时,其次,当每层中的权重是随机的时。受深度学习和深度高斯过程的最新方法和技术进步的启发,我们采用近似贝叶斯方法使用图形处理单元对这些模型进行推断。通过一维和二维的模拟研究,我们表明深度成分空间模型可以快速拟合,并且能够提供比类似复杂度的其他深度随机模型更好的预测和不确定性量化。我们还展示了他们使用 Aqua 卫星上 MODIS 仪器的辐射对非平稳、各向异性空间数据进行建模的非凡能力。
【原 文】 Zammit-Mangion, A. et al. (2022) ‘Deep compositional spatial models’, Journal of the American Statistical Ass ...