空间思维及贝叶斯方法
【摘 要】本文首先从时空数据分析面临的空间依赖性、空间异质性、数据稀疏性和不确定性四个挑战谈起,阐述了空间统计思维的重要性。在简单描述了频率派思想和贝叶斯派思想的区别后,重点阐述了贝叶斯方法的优点和可行性,尤其是其中贝叶斯分层模型和贝叶斯空间计量学模型。本文节选自 Haining 的空间和时空数据建模一书,
【原 文】 R. P. Haining and G. Li, Chapter 1 ,Modelling spatial and spatial-temporal data: a Bayesian approach. Boca Raton: CRC Press, Taylor & Francis, 2020.
1 时空数据分析面临的挑战
1.1 空间依赖性
对于空间和时空数据,在空间和/或时间上靠得很近的值不太可能是独立的。依赖性(或缺乏独立性)是空间和时空数据的基本属性。在某个时间间隔内对某个区域观察到的数据值通常包含有关同一变量在同一(或附近)时间窗口内其他(附近)区域的数据值的一些信息。例如,仔细检查图 1.1 会发现,尽管存在例外情况(例如,参见标记为 x ...
点参考数据的贝叶斯建模软件spBayes
原文: Finley, A. O., Banerjee, S., & E.Gelfand, A. (2015). SpBayes for Large Univariate and Multivariate Point-Referenced Spatio-Temporal Data Models. Journal of Statistical Software, 63(13). https://doi.org/10.18637/jss.v063.i13
Andrew O. Finley,密歇根州立大学
Sudipto Banerjee,加州大学洛杉矶分校
Alan E. Gelfand, 杜克大学
1 模型框架的定义
贝叶斯高斯空间回归模型是一个分层建模框架:
p(θ)×N(β∣μβ,Σβ)×N(α∣0,K(θ))×N(y∣Xβ+Z(θ)α,D(θ))(1)p(\boldsymbol{\theta}) \times \mathcal{N}(\boldsymbol{\beta} | \boldsymbol{\mu}_{\beta},\Sigma_{\beta}) \ti ...
Cressie 的最新空间统计论述
【阅读建议】 本文是 Cressie 在 2021 年新撰写的一篇综述类文章,其主要看点包括:(1)用统一的形式化框架实现了点参考数据、面元数据、点模式数据的建模;(2)对多变量空间统计建模的统一形式化;(3)大数据的空间离散化处理方法(此处尚未理解其优势所在,需要进一步阅读引用的论文);
【摘 要】 空间统计是一个致力于与空间标签相关数据统计分析的研究领域。地理学家通常将 “位置信息” 与 “属性信息” 联系起来,并且定义了一个被称为 “空间分析” 的研究领域。许多操作空间数据的方法都是由算法驱动的,缺少与之相关的不确定性量化。如果空间分析是统计的(即结合了不确定性量化),则它属于空间统计的研究范畴。空间统计模型的主要特征是邻近的属性值比远处的属性值在统计上更相关,这也被称为地理学第一定律。
【原 文】 N. Cressie and M. T. Moores, “Spatial Statistics,” 2021, doi: 10.48550/ARXIV.2105.07216.
【参 考】
1 导言
空间统计提供了一个概率框架,用于回答数据中包含空间位置信息、且所提问题与 ...
空间随机场及其建模方法
【摘 要】 空间数据集通常被分为三种类型:点参考数据、面元数据和点模式数据,本文重点介绍点参考数据的建模基础–空间随机场,讨论了空间随机场的一些基本假设和性质,及其形式化定义。
【原 文】 O. Schabenberger and C. A. Gotway, Chapter 2,Statistical methods for spatial data analysis. Boca Raton: Chapman & Hall/CRC, 2005.
1 随机过程与随机场
(1)随机过程与随机场
随机过程是随机变量族或集合,其成员可以根据某种度量来识别或索引。例如:
时间序列 Y(t),t=t1,…,tnY (t),t = t_1,\ldots,t_nY(t),t=t1,…,tn 由观测该序列的时间点 t1,…,tnt_1,\ldots,t_nt1,…,tn 索引。
空间过程也是随机变量的集合,只是其中的随机变量由包含空间坐标 s=[s1,s2,⋅⋅⋅,sd]′\mathbf{s} =[s_1,s_2, ···,s_d]^\primes=[s1,s2,⋅⋅⋅ ...
多尺度地理加权回归
其中 nnn 表示样本大小,σ^\hat{\sigma}σ^ 定义为误差项的标准差,tr(S)\operatorname{tr}(\boldsymbol{S})tr(S) 是帽子矩阵的迹。选定带宽后,可以进一步计算权重,并在每个校准位置拟合 GWR 模型,以获得一组局部系数。通过取每个校准位置的局部 R2R^{2}R2 的平均值,可以获得 GWR 模型的总体 R2R^{2}R2 值。
【原 文】 Fotheringham, A. Stewart and Yang, Wenbai and Kang, Wei. Multiscale Geographically Weighted Regression (MGWR) 2017. Annals of the American Association of Geographers , Vol. 107, No. 6 p. 1247-1265.
【阅后感】 本文作者是地理加权回归方法的提出者之一,也是《地理加权回归:空间可变关系的分析》一书的作者。在提出地理加权回归十余年后,作者发现原来的方法对于尺度缺乏建模能力(即解释变量可能来 ...
贝叶斯分层模型
【摘 要】 本文简要介绍了贝叶斯分层建模方法的概念、优势和局限性。
【原 文】 N. Cressie, chapter 2, Statistics for spatio-temporal data. 2011.
核心内容快速浏览(1)贝叶斯全概率公式
贝叶斯全概率公式允许将随机变量的联合分布分解为一系列条件分布:
[A,B,C]=[A∣B,C][B∣C][C][A, B, C] = [A | B, C][B | C][C]
[A,B,C]=[A∣B,C][B∣C][C]
其中 “[⋅][ \cdot ][⋅]” 用于表示概率分布;例如,[A,B,C][A, B, C][A,B,C] 是随机变量 AAA、BBB 和 CCC 的联合分布,而 [A∣B,C][A | B, C][A∣B,C] 是给定 BBB 和 CCC 时 AAA 的条件分布。
(2)Berlinear 的贝叶斯分层模型 (BHM) 范式
Mark Berliner (Berliner,1996)是最早使用贝叶斯全概率公式分解来为复杂过程建模的人。也就是说,联合分布 [data,process,parameter ...
空间数据贝叶斯建模方法索引帖
基础
点参考数据
面元数据
点模式数据
空间统计学概论
空间统计学概论
1 统计学的两大流派
(1)频率学派
认为模型的待估计参数是一个未知的常数,而样本是随机的,通过对随机样本的分析,可以计算获得参数的值。
基本思想(对事件建模)
「随机事件本身具有某种客观的随机性」,需要研究一系列工具来刻画「事件」本身
事件A在独立重复试验中发生的频率趋于极限 ppp ,那么极限 ppp 就是该事件的概率
参数估计时
主要是对模型做假设,但不对参数的分布做假设
求参数符合样本的最优化解,通过正则化解决过拟合问题
如:极大似然估计、最小交叉熵、最小二乘估计…
预测时
预测的结果:参数支持下确定的结果
结果不确定性的量化:通过方差来量化不确定性
核心体现为最优化问题
需要通过最优化算法求得参数的数值解
代表性模型
SVM等各种统计机器学习方法、前馈神经网络…
(2)贝叶斯学派
认为模型的待估计参数是一个随机变量,而样本是固定的,通过对样本的学习不断更新经验,能够使对参数的分布认识更准确。
基本思想(对人的知识建模)
「随机事件」是因「观察者」知识状态中尚未包含该事件的结果而导致,需要通过观察 ...