空间思维及贝叶斯方法
【摘 要】本文首先从时空数据分析面临的空间依赖性、空间异质性、数据稀疏性和不确定性四个挑战谈起，阐述了空间统计思维的重要性。在简单描述了频率派思想和贝叶斯派思想的区别后，重点阐述了贝叶斯方法的优点和可行性，尤其是其中贝叶斯分层模型和贝叶斯空间计量学模型。本文节选自 Haining 的《空间和时空数据建模》一书。
【原 文】 R. P. Haining and G. Li, Chapter 1 ，Modelling spatial and spatial-temporal data: a Bayesian approach. Boca Raton: CRC Press, Taylor & Francis, 2020.
1 时空数据分析面临的四个挑战
1.1 时空数据存在依赖性（ 相关性 ）
数据的空间依赖性：对于空间和时空数据，在空间和/或时间上靠得很近的值不太可能是独立的。依赖性（ 或缺乏独立性 ）是空间和时空数据的基本性质。在某个时间间隔内对某个区域观测到的数据值通常包含有关同一变量在同一（ 或附近 ）时间窗口内其他（ 附近 ）区域的数据值的一些信息。例如，仔细检 ...
点参考数据的贝叶斯建模软件spBayes
原文： Finley, A. O., Banerjee, S., & E.Gelfand, A. (2015). SpBayes for Large Univariate and Multivariate Point-Referenced Spatio-Temporal Data Models. Journal of Statistical Software, 63(13). https://doi.org/10.18637/jss.v063.i13
Andrew O. Finley，密歇根州立大学
Sudipto Banerjee，加州大学洛杉矶分校
Alan E. Gelfand， 杜克大学
1 模型框架的定义
贝叶斯高斯空间回归模型是一个分层建模框架：
p(θ)×N(β∣μβ,Σβ)×N(α∣0,K(θ))×N(y∣Xβ+Z(θ)α,D(θ))(1)p(\boldsymbol{\theta}) \times \mathcal{N}(\boldsymbol{\beta} | \boldsymbol{\mu}_{\beta},\Sigma_{\beta}) \ti ...
Cressie 的最新空间统计论述
【阅读建议】 本文是 Cressie 在 2021 年新撰写的一篇综述类文章，其主要看点包括：（1）用统一的形式化框架实现了点参考数据、面元数据、点模式数据的建模；（2）对多变量空间统计建模的统一形式化；（3）大数据的空间离散化处理方法（此处尚未理解其优势所在，需要进一步阅读引用的论文）；
【摘 要】 空间统计是一个致力于与空间标签相关数据统计分析的研究领域。地理学家通常将 “位置信息” 与 “属性信息” 联系起来，并且定义了一个被称为 “空间分析” 的研究领域。许多操作空间数据的方法都是由算法驱动的，缺少与之相关的不确定性量化。如果空间分析是统计的（即结合了不确定性量化），则它属于空间统计的研究范畴。空间统计模型的主要特征是邻近的属性值比远处的属性值在统计上更相关，这也被称为地理学第一定律。
【原 文】 N. Cressie and M. T. Moores, “Spatial Statistics,” 2021, doi: 10.48550/ARXIV.2105.07216.
【参 考】
1 导言
空间统计提供了一个概率框架，用于回答数据中包含空间位置信息、且所提问题与 ...
空间随机场及其建模方法
【摘 要】 空间数据集通常被分为三种类型：点参考数据、面元数据和点模式数据，本文重点介绍点参考数据的建模基础–空间随机场，讨论了空间随机场的一些基本假设和性质，及其形式化定义。
【原 文】 O. Schabenberger and C. A. Gotway, Chapter 2，Statistical methods for spatial data analysis. Boca Raton: Chapman & Hall/CRC, 2005.
1 随机过程与随机场
（1）随机过程与随机场
随机过程是随机变量族或集合，其成员可以根据某种度量来识别或索引。例如：
时间序列 Y(t)，t=t1,…,tnY (t)，t = t_1,\ldots,t_nY(t)，t=t1,…,tn 由观测该序列的时间点 t1,…,tnt_1,\ldots,t_nt1,…,tn 索引。
空间过程也是随机变量的集合，只是其中的随机变量由包含空间坐标 s=[s1,s2,⋅⋅⋅,sd]′\mathbf{s} =[s_1,s_2, ···,s_d]^\primes=[s1,s2,⋅⋅⋅ ...
贝叶斯分层模型
【摘 要】 本文简要介绍了贝叶斯分层建模方法的概念、优势和局限性。
【原 文】 N. Cressie, chapter 2, Statistics for spatio-temporal data. 2011.
核心内容快速浏览（1）贝叶斯全概率公式
贝叶斯全概率公式允许将随机变量的联合分布分解为一系列条件分布：
[A,B,C]=[A∣B,C][B∣C][C][A, B, C] = [A | B, C][B | C][C]
[A,B,C]=[A∣B,C][B∣C][C]
其中 “[⋅][ \cdot ][⋅]” 用于表示概率分布；例如，[A,B,C][A, B, C][A,B,C] 是随机变量 AAA、BBB 和 CCC 的联合分布，而 [A∣B,C][A | B, C][A∣B,C] 是给定 BBB 和 CCC 时 AAA 的条件分布。
（2）Berlinear 的贝叶斯分层模型 (BHM) 范式
Mark Berliner （Berliner，1996）是最早使用贝叶斯全概率公式分解来为复杂过程建模的人。也就是说，联合分布 [data,process,parameter ...
多视图表示学习概览
【摘 要】 表示学习是一种训练机器学习模型的特殊类型，它学着将原始的输入数据变换为对实现未来任务更有用的新形式。近年关于表示学习的研风头日胜，因为在很多实际工作中，增加预训练以学习有用的表示，确实提升了很多下游任务的性能。本文主要对表示学习的门类和方法做一概述，文章内容主要来自 Murphy 的《Machine Learning: Advanced Topics》第 32 章。
【参 考】 李沐老师讲论文系列
自监督学习有生成式学习和对比学习，对比学习需要从无标注的数据中学习特征表示，并用于下游任务中。指导原则是: 通过构造相似实例和不相似实例，学习一个表示学习模型，使得相似的实例在投影空间中较接近，不相似的实例在投影空间中距离较远。
对比学习有三个关键问题:
正负样本的构造
编码器的设计
Loss函数的选取。
过去几年，尤其是2018年开始到现在，对比学习在计算机视觉领域的发展可以划成四个阶段:
2018~2019年中，Inst Disc、CPC、CMC等方法和模型都还没有统一，目标函数和代理任务也还没有统一;
2019~2020年中，SimCLR、Moco、CP ...
表示学习概览
【摘 要】 表示学习是一种训练机器学习模型的特殊类型，它学着将原始的输入数据变换为对实现未来任务更有用的新形式。近年关于表示学习的研风头日胜，因为在很多实际工作中，增加预训练以学习有用的表示，确实提升了很多下游任务的性能。本文主要对表示学习的门类和方法做一概述，文章内容主要来自 Murphy 的《Machine Learning: Advanced Topics》第 32 章。
【参 考】 Murphy, 《Machine Learning: Advanced Topics》ch. 20
【思维导图】
1 概述
表示学习是一种训练机器学习模型以将原始输入变换为更容易解决新任务的形式的范式。与在训练时就已经知道了任务的监督学习不同，表示学习通常假设我们并不知道希望解决的任务是什么。但如果没有这些知识，是否真的可以学习到对后续任务有用的输入呢？
表示学习存在可能性的证据之一来自我们自身。人类可以快速形成对新类的丰富表示，并且支持多种行为：找到该类的更多实例，将该实例分解为多个部分，从该类生成新实例等。但是，很难直接指定我们希望机器学习系统学习哪些表示。我们可能希 ...
2021 年GeoAI 研讨会总结
【摘 要】 许多历史地图页可公开用于需要长期历史地理数据的研究。这些地图的制图设计包括地图符号和文字标签的组合。从地图图像中自动读取文本标签可以大大加快地图解释速度，并有助于生成描述地图内容的丰富元数据。已经提出了许多文本检测算法来自动定位地图图像中的文本区域，但大多数算法都是在域外数据集（例如风景图像）上训练的。训练数据决定了机器学习模型的质量，而在地图图像中手动标注文本区域既费力又费时。另一方面，现有的地理数据源，例如 OpenStreetMap (OSM)，包含机器可读的地图图层，这使我们可以轻松地分离出文本图层并获得文本标签注释。但是，OSM 地图瓦片和历史地图之间的制图风格明显不同。本文提出了一种自动生成无限量带注释的历史地图图像的方法，用于训练文本检测模型。我们使用样式转换模型将当代地图图像转换为历史样式并在其上放置文本标签。我们表明，最先进的文本检测模型（例如 PSENet）可以从合成历史地图中受益，并在历史地图文本检测方面取得显著改进。
【原 文】 Lunga, D., Hu, Y., Newsam, S., Gao, S., Martins, B., Ya ...
扩散模型-北大综述
〖摘要〗扩散模型是一类具有丰富理论基础的深度生成模型，在各种任务中都取得了令人印象深刻的结果。尽管扩散模型比其他先进模型取得了更令人印象深刻的质量和样本多样性，但它们仍然存在昂贵的采样过程和次优的似然估计。近年来，研究人员对扩散模型性能的改进表现出极大的热情。在本文中，我们提出了对扩散模型现有变体的第一个全面综述。具体地说，我们提供了扩散模型的第一种分类法，将其变体分为三种类型：采样加速增强类、似然最大化增强类和数据泛化增强类。我们还介绍了其他五种生成模型(即变分自编码器、生成对抗网络、归一化流、自回归模型和基于能量的模型)，并阐明了扩散模型和这些生成模型之间的联系。文末对扩散模型的应用进行了深入探讨，包括计算机视觉、自然语言处理、波形信号处理、多模态建模、分子图生成、时间序列建模和对抗性纯化等。
〖原文〗Yang, L., Zhang, Z., Hong, S., Xu, R., Zhao, Y., Shao, Y., Zhang, W., Yang, M.-H., & Cui, B. (2022). Diffusion Models: A Comprehensi ...
高斯过程混合模型
〖摘要〗 在很多模型假设中，存在各种形式的隐变量和隐结构，其目的是使高维数据能够得到足够地解释，以发现或挖掘隐藏在可观测数据深层的知识或信息。我们可以将此类模型暂时称为 发现模型 或者 广义隐变量模型。本文是此类模型的一个总揽，大部分内容摘自 Murphy 的《机器学习：高级主题》的第 27 章。
在本部分中，我们专注于能够为
问题提出
发现模型假设我们能够观测到的数据 x\boldsymbol{x}x 是由某些底层的潜在因素 z\boldsymbol{z}z （ 通常是低维的 ）导致，并且通常 z\boldsymbol{z}z 代表了世界的某种 “真实” 状态。至关重要的是，这些潜在因素通常被认为对模型的最终用户有意义 （ 也就是说，评估此类模型需要领域专业知识，具有可解释性 ）。
我们的目的是通过对可观测数据 x\boldsymbol{x}x 的处理，得到潜在因素 z\boldsymbol{z}z 的底层作用机理， 进而能够给可观测数据的生成作出一个合理的解释。
这种反向建模方法广泛用于科学和工程中，其中 z\boldsymbol{z}z 代表了自然界中待估计的潜在状态 ...