西山晴雪的知识笔记

【阅读建议】 本文是空间位置嵌入的第一篇比较全面的综述，涉及新概念、新方法和未来可能的新应用，比较有想象空间。但阅读后感觉将必要性简单地表述为机器学习的需要，似乎并不充分（第 2 节）；另外该概念到底带来了那些提升、对未来哪些冲击、影响和改变，似乎可以更进一步提炼，目前尚难以感觉到值得深入研究的价值。 【原文摘要】 地球科学对人工智能模型的共同需求，是在潜在的嵌入空间中表示点、线、多边形、网络、栅格等多种类型的空间数据，以便能够很容易地将这些数据融入到深度学习模型中去。一个基本做法是通过编码过程将位置转换到嵌入空间中，而这种嵌入表示对于下游机器学习模型（例如支持向量机和神经网络）来说是学习友好的，我们将此过程称为位置编码。目前，对于位置编码的概念、潜在应用以及需要解决的关键挑战，尚缺乏系统的回顾，而本文旨在填补这一空白。本文首先提供了位置编码的形式化定义，并从机器学习角度讨论了位置编码对于 GeoAI 研究的必要性，然后对位置编码研究的现状进行了较为全面地调查和讨论。依据输入和编码方法，我们将位置编码模型分为了不同类别，并根据其是否参数模型、多尺度性、距离保持和方向感知等性 ...

随着人们对时间维度的探索需求，时空统计学得到大力发展。其中： 时空点数据：空间统计学中的点参考数据转变为时空点数据，可以采用 面板数据（或称纵向数据）：空间统计学中的点参考数据转变为时空点数据，可以采用 时空点过程：空间统计学中的点参考数据转变为时空点数据，可以采用 5.1 基础理论与综述 经典书籍参见： Cressie, N. (2011) Statistics for spatio-temporal data. Wikle, C.K., Zammit-Mangion, A. and Cressie, N.A.C. (2019) Spatio-temporal statistics with R. Boca Raton: CRC Press, Taylor & Francis Group (Chapman & Hall/CRC the R series). Sahu, S.K. (2022) Bayesian modeling of spatio-temporal data with R. Chapman and Hall/CRC. 5.2 时空数 ...

1. 空间统计建模思维 空间思维及贝叶斯方法 贝叶斯分层模型 2. 克里金法与高斯过程基础 克里金法 高斯过程基本原理索引帖 克里金法与高斯过程的联系 3. 空间随机场及其建模方法 空间随机场及其建模方法 空间过程的贝叶斯建模分析方法综述 空间数据的贝叶斯分层建模 在点参考数据的建模理论基础上，发展出了一系列分析方法，详见 点参考数据模型索引帖。 #refplus, #refplus li{ padding:0; margin:0; list-style:none; }； document.querySelectorAll(".refplus-num").forEach((ref) => { let refid = ref.firstChild.href.replace(location.origin+location.pathname,''); let refel = document.que ...

#refplus, #refplus li{ padding:0; margin:0; list-style:none; }； document.querySelectorAll(".refplus-num").forEach((ref) => { let refid = ref.firstChild.href.replace(location.origin+location.pathname,''); let refel = document.querySelector(refid); let refnum = refel.dataset.num; let ref_content = refel.innerText.replace(`[${refnum}]`,''); tippy(ref, { content: ref_content, ...

1. 确定性空间插值 确定性插值方法将兴趣变量视为确定性变量，因此不考虑其随机性，其输出是确定性的值。插值方法主要基于数学公式或几何规则，不涉及概率或统计模型。 (1) 反距离加权法（ Inverse Distance Weighting, IDW ） 原理：未知点的值由已知点的值加权平均得到，权重与距离成反比。 公式：z^(x)=∑i=1nwizi∑i=1nwi,wi=1d(x,xi)p, \hat{z}(x) = \frac{\sum_{i=1}^n w_i z_i}{\sum_{i=1}^n w_i}, \quad w_i = \frac{1}{d(x, x_i)^p}, z^(x)=∑i=1n​wi​∑i=1n​wi​zi​​,wi​=d(x,xi​)p1​, 其中，Z(xi)Z ( x_i )Z(xi​) 是已知点的值，d(x,xi)d ( x, x_i )d(x,xi​) 是未知点与已知点的距离，ppp 是幂参数。 特点： 简单易用，计算速度快。 对数据分布敏感，可能导致“牛眼效应”。 (2) 泰森多边形法（ Voronoi Diagram / ...

#refplus, #refplus li{ padding:0; margin:0; list-style:none; }； document.querySelectorAll(".refplus-num").forEach((ref) => { let refid = ref.firstChild.href.replace(location.origin+location.pathname,''); let refel = document.querySelector(refid); let refnum = refel.dataset.num; let ref_content = refel.innerText.replace(`[${refnum}]`,''); tippy(ref, { content: ref_content, ...

1 空间统计学的理论体系 “地统计学（Geostatistics）” 、 “空间计量经济学（Spatial Econometrics）” 、“点模式分析（Point Pattern Analysis）” 是空间统计学的三大基石。其中： 地统计学最早起源于地质探矿的采样、建模、分析和预测，侧重于点参考数据（如钻井、气象观测点等处的观测样本）的统计建模和分析，主要建模方法为 “空间随机场（spatial random field）”， ； 空间计量经济学则起源于区域经济规划、建模和分析，侧重于面元数据（如各种级别行政区划的经济要素样本）的统计建模和分析，主要建模方法为高斯马尔可夫随机场（Gaussian Markov Random Field, GMRF）； 点模式分析则来源于空间信息科学领域，侧重于离散点的空间分布特征（如聚集、均匀分布等）、相关性和与环境的关系分析，主要建模为 “空间点过程（spatial point process）” 。 🔔 注意：本帖主要专注于空间随机场理论和方法体系，即地统计学相关的内容。 1.1 入门资料 传统的空间统计学于 20 世纪 9 ...

空间统计学概论 1 统计学的两大流派 （1）频率学派 认为模型的待估计参数是一个未知的常数，而样本是随机的，通过对随机样本的分析，可以计算获得参数的值。 基本思想（对事件建模） 「随机事件本身具有某种客观的随机性」，需要研究一系列工具来刻画「事件」本身 事件A在独立重复试验中发生的频率趋于极限 ppp ，那么极限 ppp 就是该事件的概率 参数估计时 主要是对模型做假设，但不对参数的分布做假设 求参数符合样本的最优化解，通过正则化解决过拟合问题 如：极大似然估计、最小交叉熵、最小二乘估计… 预测时 预测的结果：参数支持下确定的结果 结果不确定性的量化：通过方差来量化不确定性 核心体现为最优化问题 需要通过最优化算法求得参数的数值解 代表性模型 SVM等各种统计机器学习方法、前馈神经网络… （2）贝叶斯学派 ​ 认为模型的待估计参数是一个随机变量，而样本是固定的，通过对样本的学习不断更新经验，能够使对参数的分布认识更准确。 基本思想（对人的知识建模） 「随机事件」是因「观察者」知识状态中尚未包含该事件的结果而导致，需要通过观察 ...

title: 扩散模型概览 description: 扩散模型概览 author: 西山晴雪 mathjax: true categories: 生成任务 扩散模型 tags: 生成任务 神经网络 生成模型 扩散模型 abbrlink: 3b7358a6 date: 2022-10-10 10:00:00 〖摘要〗扩散模型（Diffusion Models, DM ）的迅速崛起是过去几年机器学习领域最大的发展之一。扩散模型是一种生成模型，2020 年以来发布的一些开创性论文，体现了其强大能力，例如：在图像合成领域已经击败了 GAN，实现了 SOTA。鉴于近年扩散模型的成功浪潮，许多机器学习从业者对其内部运作感兴趣。在本文中，我们将研究扩散模型的理论基础，然后演示如何在 PyTorch 中使用扩散模型生成图像。本文包括初学者需要了解的、有关扩散模型的大部分信息。 〖原文〗AseemblyAI’s Blog 〖参考〗Understanding Diffusion Models: A Unified Perspective / What are Diffusion ...