Cressie 的最新空间统计论述
【阅读建议】 本文是 Cressie 在 2021 年新撰写的一篇综述类文章,其主要看点包括:(1)用统一的形式化框架实现了点参考数据、面元数据、点模式数据的建模;(2)对多变量空间统计建模的统一形式化;(3)大数据的空间离散化处理方法(此处尚未理解其优势所在,需要进一步阅读引用的论文);
【摘 要】 空间统计是一个致力于与空间标签相关数据统计分析的研究领域。地理学家通常将 “位置信息” 与 “属性信息” 联系起来,并且定义了一个被称为 “空间分析” 的研究领域。许多操作空间数据的方法都是由算法驱动的,缺少与之相关的不确定性量化。如果空间分析是统计的(即结合了不确定性量化),则它属于空间统计的研究范畴。空间统计模型的主要特征是邻近的属性值比远处的属性值在统计上更相关,这也被称为地理学第一定律。
【原 文】 N. Cressie and M. T. Moores, “Spatial Statistics,” 2021, doi: 10.48550/ARXIV.2105.07216.
【参 考】
1 导言
空间统计提供了一个概率框架,用于回答数据中包含空间位置信息、且所提问题与 ...
空间随机场及其建模方法
【摘 要】 空间数据集通常被分为三种类型:点参考数据、面元数据和点模式数据,本文重点介绍点参考数据的建模基础–空间随机场,讨论了空间随机场的一些基本假设和性质,及其形式化定义。
【原 文】 O. Schabenberger and C. A. Gotway, Chapter 2,Statistical methods for spatial data analysis. Boca Raton: Chapman & Hall/CRC, 2005.
1 随机过程与随机场
(1)随机过程与随机场
随机过程是随机变量族或集合,其成员可以根据某种度量来识别或索引。例如:
时间序列 Y(t),t=t1,…,tnY (t),t = t_1,\ldots,t_nY(t),t=t1,…,tn 由观测该序列的时间点 t1,…,tnt_1,\ldots,t_nt1,…,tn 索引。
空间过程也是随机变量的集合,只是其中的随机变量由包含空间坐标 s=[s1,s2,⋅⋅⋅,sd]′\mathbf{s} =[s_1,s_2, ···,s_d]^\primes=[s1,s2,⋅⋅⋅ ...
多尺度地理加权回归
其中 nnn 表示样本大小,σ^\hat{\sigma}σ^ 定义为误差项的标准差,tr(S)\operatorname{tr}(\boldsymbol{S})tr(S) 是帽子矩阵的迹。选定带宽后,可以进一步计算权重,并在每个校准位置拟合 GWR 模型,以获得一组局部系数。通过取每个校准位置的局部 R2R^{2}R2 的平均值,可以获得 GWR 模型的总体 R2R^{2}R2 值。
【原 文】 Fotheringham, A. Stewart and Yang, Wenbai and Kang, Wei. Multiscale Geographically Weighted Regression (MGWR) 2017. Annals of the American Association of Geographers , Vol. 107, No. 6 p. 1247-1265.
【阅后感】 本文作者是地理加权回归方法的提出者之一,也是《地理加权回归:空间可变关系的分析》一书的作者。在提出地理加权回归十余年后,作者发现原来的方法对于尺度缺乏建模能力(即解释变量可能来 ...
贝叶斯分层模型
【摘 要】 本文简要介绍了贝叶斯分层建模方法的概念、优势和局限性。
【原 文】 N. Cressie, chapter 2, Statistics for spatio-temporal data. 2011.
核心内容快速浏览(1)贝叶斯全概率公式
贝叶斯全概率公式允许将随机变量的联合分布分解为一系列条件分布:
[A,B,C]=[A∣B,C][B∣C][C][A, B, C] = [A | B, C][B | C][C]
[A,B,C]=[A∣B,C][B∣C][C]
其中 “[⋅][ \cdot ][⋅]” 用于表示概率分布;例如,[A,B,C][A, B, C][A,B,C] 是随机变量 AAA、BBB 和 CCC 的联合分布,而 [A∣B,C][A | B, C][A∣B,C] 是给定 BBB 和 CCC 时 AAA 的条件分布。
(2)Berlinear 的贝叶斯分层模型 (BHM) 范式
Mark Berliner (Berliner,1996)是最早使用贝叶斯全概率公式分解来为复杂过程建模的人。也就是说,联合分布 [data,process,parameter ...
空间过程的贝叶斯建模分析方法综述
【阅读建议】 本文重点介绍点参考空间数据的贝叶斯建模和分析方法,尤其是贝叶斯分层建模框架。点参考数据(也被称为地统计数据)主要指在固定空间位置观测到的随机变量数据。过去二十年中,此类数据在空间和时间上的收集量已经大大增加,随之而来的是分析此类数据的大量方法。本文尝试对其中的贝叶斯方法进行回顾。此类分析方法的好处是能够进行全面而准确的推断,并对不确定性进行适当评估。地统计建模的测站数据虽然比较复杂,涉及单变量和多变量、连续型和类别型、静态和动态以及大量长时间观测结果等,但在贝叶斯分层模型框架内,可以统一进行描述和阐释。本文另一亮点在于对大规模观测数据的建模问题做了综述,介绍了降秩方法(高斯预测过程模型)和近邻方法(近邻高斯过程模型)两类主要的处理策略。
【引文信息】 A. E. Gelfand and S. Banerjee, “Bayesian Modeling and Analysis of Geostatistical Data,” Annu Rev Stat Appl, vol. 4, pp. 245–266, 2017, doi: 10.1146/annurev-s ...
空间数据贝叶斯建模方法索引帖
基础
点参考数据
面元数据
点模式数据
点参考数据及克里金法
【阅读建议】 点参考数据的空间预测和模拟问题,大致有传统克里金法和目前应用比较广泛的基于似然的方法。本文主要介绍源于地统计学的传统克里金方法,一来掌握空间统计中的基础方法,二来便于与后面几篇文章中提到的高斯过程之间建立联系。克里金方法在对空间随机场作出本征平稳假设的情况下,利用参数化的变异函数对不同位置处随机变量的偏差之间存在的空间结构(相关性)进行建模,利用有限样本点的最大似然求解最优参数,并将其用于预测任务。
【引文信息】
[1] 史舟, 李艳编, 地统计学在土壤学中的应用. Beijing: Zhong guo nong ye chu ban she, 2006.
[2] 王政权, 地统计学及在生态学中的应用. Bei jing: Ke xue chu ban she, 1999.
1 引言
空间数据的获取通常具有一定的成本,是进行空间分析的基础与起源。为了提高研究结论的精度,我们希望能够获取研究区域内更多、更全面的精确空间属性数据信息。然而,在实际研究工作中,由于人力成本、资源等外部条件限制,我们无法对全部未知区域加以采样与测量,而往往只能得到研究区域内有限数量 ...
空间统计学概论
空间统计学概论
1 统计学的两大流派
(1)频率学派
认为模型的待估计参数是一个未知的常数,而样本是随机的,通过对随机样本的分析,可以计算获得参数的值。
基本思想(对事件建模)
「随机事件本身具有某种客观的随机性」,需要研究一系列工具来刻画「事件」本身
事件A在独立重复试验中发生的频率趋于极限 ppp ,那么极限 ppp 就是该事件的概率
参数估计时
主要是对模型做假设,但不对参数的分布做假设
求参数符合样本的最优化解,通过正则化解决过拟合问题
如:极大似然估计、最小交叉熵、最小二乘估计…
预测时
预测的结果:参数支持下确定的结果
结果不确定性的量化:通过方差来量化不确定性
核心体现为最优化问题
需要通过最优化算法求得参数的数值解
代表性模型
SVM等各种统计机器学习方法、前馈神经网络…
(2)贝叶斯学派
认为模型的待估计参数是一个随机变量,而样本是固定的,通过对样本的学习不断更新经验,能够使对参数的分布认识更准确。
基本思想(对人的知识建模)
「随机事件」是因「观察者」知识状态中尚未包含该事件的结果而导致,需要通过观察 ...
【面元数据】之数据模型篇
【阅读建议】 空间数据集通常被分为三种类型:面元数据、面元数据和点模式数据,本文重点介绍面元数据的形式化定义。
【引文信息】
p{text-indent:2em}
按照惯例,通常将空间数据集分为三种基本类型:
面元数据 (Point-referenced data)
其中 $$Y(s)$$ 是位置 $$\mathbf{s} \in \mathit{R}^r$$ 处的随机向量,其中 $$\mathbf{s}$$ 在 $$\mathit{R}^r$$ 的一个固定子集 $$D$$ 上 连续变化,具有 $$r$$ 维矩形的正体积;
面元数据(Areal data)
其中 $$D$$ 依然是 $$\mathit{R}^r$$ 的一个固定子集,具有规则或不规则的形状,不过现在 $$D$$ 被 划分 为有限数量的、具有明确边界的面元;
点模式数据(Point pattern data)
D$$ 本身是随机的;其索引的集合 (Index set) 给出了作为空间点模式的随机事件的位置。 $$Y(s)$$ 本身对于所有 $$s \in D$$ 可以简单地等于 $$1$$ (表示事 ...
【点模式数据】之数据模型篇
【阅读建议】 空间数据集通常被分为三种类型:点模式数据、点模式数据和点模式数据,本文重点介绍点模式数据的形式化定义。
【引文信息】
p{text-indent:2em}
按照惯例,通常将空间数据集分为三种基本类型:
点模式数据 (Point-referenced data)
其中 Y(s)Y(s)Y(s) 是位置 s∈Rr\mathbf{s} \in \mathit{R}^rs∈Rr 处的随机向量,其中 s\mathbf{s}s 在 Rr\mathit{R}^rRr 的一个固定子集 DDD 上 连续变化,具有 rrr 维矩形的正体积;
点模式数据(Areal data)
其中 DDD 依然是 Rr\mathit{R}^rRr 的一个固定子集,具有规则或不规则的形状,不过现在 DDD 被 划分 为有限数量的、具有明确边界的点模式;
点模式数据(Point pattern data)
DDD 本身是随机的;其索引的集合 (Index set) 给出了作为空间点模式的随机事件的位置。 Y(s)Y(s)Y(s) 本身对于所有 s∈Ds \in Ds∈D 可以简单地等于 ...