🔥 点参考数据模型索引帖
1 空间过程及平稳性假设
《随机过程与随机场》 : 将空间表面(Surface)视为空间随机过程的一次实现,并将点参考数据视为空间表面的一次不完整观测,是研究点参考数据的基本假设。在此假设下,构成空间数据集的 nnn 个具有地理参考的观测值集合,并不代表大小为 nnn 的样本,而是代表了对一次随机实验的不完整观测,是一个来自 nnn 维分布的大小为 111 的样本。这种假设对于理解点参考数据的统计模型非常重要,也同时使传统基于重复观测的统计方法失效。本文介绍了这种假设以及相关的概念和知识。该文中还有部分关于空间连续性和可微性的讨论,之前认为不重要,但后来细品一下可能涉及点参考数据和面元数据之间的转换问题,将来有时间可以配合《随机偏微分方程方法: 高斯场和高斯马尔可夫随机场之间的明确联系》 进一步理解。
2 经典克里金方法
点参考数据及克里金法(2005) : 本文介绍了传统地统计学中的克里金方法。该方法发源于 1940 年代的地统计学领域,主要用于解决插值问题,因 Krige 1960 年的一篇硕士论文而命名。克里金法是一种基于高斯过程假设的经验估计和预测方法,建立 ...
🔥 空间统计学概论
空间统计学概论
1 统计学的两大流派
(1)频率学派
认为模型的待估计参数是一个未知的常数,而样本是随机的,通过对随机样本的分析,可以计算获得参数的值。
基本思想(对事件建模)
「随机事件本身具有某种客观的随机性」,需要研究一系列工具来刻画「事件」本身
事件A在独立重复试验中发生的频率趋于极限 ppp ,那么极限 ppp 就是该事件的概率
参数估计时
主要是对模型做假设,但不对参数的分布做假设
求参数符合样本的最优化解,通过正则化解决过拟合问题
如:极大似然估计、最小交叉熵、最小二乘估计…
预测时
预测的结果:参数支持下确定的结果
结果不确定性的量化:通过方差来量化不确定性
核心体现为最优化问题
需要通过最优化算法求得参数的数值解
代表性模型
SVM等各种统计机器学习方法、前馈神经网络…
(2)贝叶斯学派
认为模型的待估计参数是一个随机变量,而样本是固定的,通过对样本的学习不断更新经验,能够使对参数的分布认识更准确。
基本思想(对人的知识建模)
「随机事件」是因「观察者」知识状态中尚未包含该事件的结果而导致,需要通过观察 ...
🔥 时空间统计专题索引帖
随着人们对时间维度的探索需求,时空统计学得到大力发展。其中:
时空点数据:空间统计学中的点参考数据转变为时空点数据,可以采用
面板数据(或称纵向数据):空间统计学中的点参考数据转变为时空点数据,可以采用
时空点过程:空间统计学中的点参考数据转变为时空点数据,可以采用
5.1 基础理论与综述
经典书籍参见:
Cressie, N. (2011) Statistics for spatio-temporal data.
Wikle, C.K., Zammit-Mangion, A. and Cressie, N.A.C. (2019) Spatio-temporal statistics with R. Boca Raton: CRC Press, Taylor & Francis Group (Chapman & Hall/CRC the R series).
Sahu, S.K. (2022) Bayesian modeling of spatio-temporal data with R. Chapman and Hall/CRC.
5.2 时空数 ...
🔥 空间随机场建模方法索引帖
1. 空间统计建模思维
空间思维及贝叶斯方法
贝叶斯分层模型
2. 克里金法与高斯过程基础
克里金法
高斯过程基本原理索引帖
克里金法与高斯过程的联系
3. 空间随机场及其建模方法
空间随机场及其建模方法
空间过程的贝叶斯建模分析方法综述
空间数据的贝叶斯分层建模
在点参考数据的建模理论基础上,发展出了一系列分析方法,详见 点参考数据模型索引帖。
#refplus, #refplus li{
padding:0;
margin:0;
list-style:none;
};
document.querySelectorAll(".refplus-num").forEach((ref) => {
let refid = ref.firstChild.href.replace(location.origin+location.pathname,'');
let refel = document.que ...
🔥 不确定性神经网络索引帖
#refplus, #refplus li{
padding:0;
margin:0;
list-style:none;
};
document.querySelectorAll(".refplus-num").forEach((ref) => {
let refid = ref.firstChild.href.replace(location.origin+location.pathname,'');
let refel = document.querySelector(refid);
let refnum = refel.dataset.num;
let ref_content = refel.innerText.replace(`[${refnum}]`,'');
tippy(ref, {
content: ref_content,
...
🔥 空间插值方法索引帖
1. 确定性空间插值
确定性插值方法将兴趣变量视为确定性变量,因此不考虑其随机性,其输出是确定性的值。插值方法主要基于数学公式或几何规则,不涉及概率或统计模型。
(1) 反距离加权法( Inverse Distance Weighting, IDW )
原理:未知点的值由已知点的值加权平均得到,权重与距离成反比。
公式:z^(x)=∑i=1nwizi∑i=1nwi,wi=1d(x,xi)p, \hat{z}(x) = \frac{\sum_{i=1}^n w_i z_i}{\sum_{i=1}^n w_i}, \quad w_i = \frac{1}{d(x, x_i)^p},
z^(x)=∑i=1nwi∑i=1nwizi,wi=d(x,xi)p1,
其中,Z(xi)Z ( x_i )Z(xi) 是已知点的值,d(x,xi)d ( x, x_i )d(x,xi) 是未知点与已知点的距离,ppp 是幂参数。
特点:
简单易用,计算速度快。
对数据分布敏感,可能导致“牛眼效应”。
(2) 泰森多边形法( Voronoi Diagram / ...
🔥 空间预测方法索引帖
#refplus, #refplus li{
padding:0;
margin:0;
list-style:none;
};
document.querySelectorAll(".refplus-num").forEach((ref) => {
let refid = ref.firstChild.href.replace(location.origin+location.pathname,'');
let refel = document.querySelector(refid);
let refnum = refel.dataset.num;
let ref_content = refel.innerText.replace(`[${refnum}]`,'');
tippy(ref, {
content: ref_content,
...
🔥 空间随机场理论索引帖
1 空间统计学的理论体系
“地统计学(Geostatistics)” 、 “空间计量经济学(Spatial Econometrics)” 、“点模式分析(Point Pattern Analysis)” 是空间统计学的三大基石。其中:
地统计学最早起源于地质探矿的采样、建模、分析和预测,侧重于点参考数据(如钻井、气象观测点等处的观测样本)的统计建模和分析,主要建模方法为 “空间随机场(spatial random field)”, ;
空间计量经济学则起源于区域经济规划、建模和分析,侧重于面元数据(如各种级别行政区划的经济要素样本)的统计建模和分析,主要建模方法为高斯马尔可夫随机场(Gaussian Markov Random Field, GMRF);
点模式分析则来源于空间信息科学领域,侧重于离散点的空间分布特征(如聚集、均匀分布等)、相关性和与环境的关系分析,主要建模为 “空间点过程(spatial point process)” 。
🔔 注意:本帖主要专注于空间随机场理论和方法体系,即地统计学相关的内容。
1.1 入门资料
传统的空间统计学于 20 世纪 9 ...
🔥 大规模点参考数据统计分析方法索引帖
〖摘 要〗 个人用于整理大规模点参考数据时空统计分析方法的汇总帖,大致分为克里金法和贝叶斯建模、高斯过程及其推断理论、大 n 问题及其对策、并行化策略和方法、与深度学习的结合等部分。目前主要兴趣点在大规模点参考数据的高效计算方法和统计深度学习方面。
1 基础地统计方法
(1)克里金法及经验估计
克里金方法发源于 1940 年代的地统计学领域,主要用于解决插值问题,因 Krige 1960 年的一篇硕士论文而命名。在 1990s 年代,克里金法在贝叶斯推断背景下被重新表述,并被称为 高斯过程回归,而相关函数(在克里金法中是半变异函数)的选择,则被视为一个机器学习问题。
自编的《点参考数据及克里金法》 : 介绍了传统地统计学的克里金方法,其本质上就是高斯过程,只是提供了一套以变异函数和克里金预测为核心的独立技术体系。
Gelfand (2017)的 《点参考数据贝叶斯建模综述》 : 系统地从贝叶斯建模角度重温了地统计方法,除简述克里金法外,还包括贝叶斯分层建模方法、大 N 问题的处理等介绍性文字。
2 高斯过程及其推断
从权重视角来看,高斯过程是多元高斯分布向无限维随机变量 ...
空间数据的贝叶斯分层建模
【摘 要】由于空间数据的复杂性,使其统计建模非常困难。分层建模方法由于能够对模型进行分解,从而使建模和推断变得更具可操作性,因此在空间统计学领域得到快速应用和发展。而本文正是围绕空间数据的分层建模方法展开的。文中涉及通用分层建模方法、地统计中的分层建模、广义线性模型的分层建模等内容,以及相应的推断问题。本文内容摘自 Gelfand 的 《空间统计手册》第七章。
【原 文】 Gelfand, A.E. et al. (2010), Handbook of spatial statistics (chapter 7). CRC press.
7.1 简介
在空间统计中,人们通常必须在存在复杂过程、多个数据源、参数化不确定性和不同程度的科学知识的情况下开发统计模型。人们可以从联合或条件的角度来处理这些复杂的问题。虽然从联合角度考虑过程可能很直观,但这种方法可能对统计建模提出严重挑战。例如,可能很难为相关空间数据集指定联合多元依赖结构。将此类联合分布分解为一系列条件模型可能会容易得多。例如,考虑以近地表环境空气温度为条件的近地表臭氧过程(尤其是在夏季)比同时考虑臭氧和温度过程更简单 ...