一种用于语义分割的大规模遥感场景数据集构建
【摘 要】 随着深度学习在计算机视觉任务中的进步,它在其他领域的应用得到了推动。该技术已越来越多地应用于遥感图像的解译,显示出巨大的潜在经济和社会意义,例如自动绘制土地覆盖图。然而,该模型需要相当数量的样本进行训练,现在由于缺乏大规模数据集而受到不利影响。而且,标注样本是一项费时费力的工作,尚未建立适合深度学习的完整土地分类体系。这种限制阻碍了深度学习的发展和应用。为了满足遥感领域深度学习的数据需求,本研究开发了 JSsampleP,这是一个用于分割的大规模数据集,生成了 110,170 个数据样本,涵盖了中国江苏省内的各类场景。充分利用江苏现有地理国情数据集(GCD)和基础测绘数据集(BSMD),显着降低样本标注成本。此外,样品经过严格的清洁过程以确保数据质量。最后使用 U-Net 模型验证数据集的准确性,后续版本会不断优化。
【原 文】 Xu, L. et al. (2023) ‘A large-scale remote sensing scene dataset construction for semantic segmentation’, Internationa ...
🔥 GeoAI 相关论文索引帖
〖摘 要〗 个人用于整理大规模点参考数据时空统计分析方法的汇总帖,大致分为克里金法和贝叶斯建模、高斯过程及其推断理论、大 n 问题及其对策、并行化策略和方法、与深度学习的结合等部分。目前主要兴趣点在大规模点参考数据的高效计算方法和统计深度学习方面。
1 概览或综述
2 位置嵌入
3 社会感知
4 遥感数据
5 地图数据
6 位置物联网
7 街景数据
8 地理知识图谱
#refplus, #refplus li{
padding:0;
margin:0;
list-style:none;
};
document.querySelectorAll(".refplus-num").forEach((ref) => {
let refid = ref.firstChild.href.replace(location.origin+location.pathname,'');
let refel = document.query ...
格子克里金法(LatticeKrig)
【摘 要】 我们开发了一个多分辨率模型来预测基于不规则间隔观测的二维空间场。每个分辨率级别的径向基函数都是使用 Wendland 紧支撑的相关函数构建,“结点” 排列在矩形网格上。每个更精细级别的网格以两倍率增加,并且基函数按比例缩放以具有恒定的重叠。在每个分辨率级别与基函数关联的权重系数,根据高斯马尔可夫随机场 (GMRF) 来分布,并充分利用基被组织为网格的事实。几个数值示例和分析结果表明,该方案可以很好地逼近标准协方差函数,例如 Matern,并且还具有适应更复杂形状的灵活性。该模型的另一个重要特征是可以应用于大型空间数据集的统计推断,因为计算中的关键矩阵是稀疏的。计算的高效性适用于似然计算和空间预测。
【原 文】 Nychka, D. et al. (2015) ‘A multiresolution gaussian process model for the analysis of large spatial datasets’, Journal of Computational and Graphical Statistics, 24(2), pp. 579–5 ...
海量空间数据集的多分辨率近似(MRA )
【摘 要】 卫星和飞机上的自动传感仪器能够收集大空间区域空间场的大量高分辨率观测数据。如果可以有效地利用这些数据集,它们可以为各种问题提供新的见解。然而,传统的空间统计技术(如克里金法)在计算上对于大数据集不可行。我们提出了在空间不规则位置观测到的高斯过程的多分辨率近似 (M-RA)。 M-RA 过程被指定为多个空间分辨率级别的基函数的线性组合,它可以捕获从非常精细到非常大尺度的空间结构。自动选择基函数来近似给定的协方差函数,该协方差函数可以是非平稳的。所有涉及 M-RA 的计算,包括参数推断和预测,对于海量数据集都是高度可扩展的。至关重要的是,推断算法也可以并行化,以充分利用大型分布式内存计算环境。在使用模拟数据和大型卫星数据集进行比较时,M-RA 优于相关的最新技术
【原 文】 Katzfuss, M. (2017) ‘A Multi-Resolution Approximation for Massive Spatial Datasets’, Journal of the American Statistical Association, 112(517), pp. ...
利用变分高斯过程学习空间模式
【摘 要】 介绍了专门用于空间数据的变分高斯过程 (VGP) 模型,利用了机器学习领域的最新进展。该模型是模块化和可定制的,能够处理关于数据的不同假设。本文工作侧重于多元稳健回归,使用 εεε 不敏感损失函数的自适应。 变分高斯过程使端到端建模成为可能:正态分值变换、空间模式检测和预测。本文提出了一种处理大型数据集的方法,并给出了可用的开源实现。
【原 文】 Gonçalves, Í.G., Guadagnin, F. and Cordova, D.P. (2022) ‘Learning spatial patterns with variational Gaussian processes: Regression’, Computers & Geosciences, p. 105056. Available at: https://doi.org/10.1016/j.cageo.2022.105056.
1 引言
高斯过程 (Gaussian Process,GP) 模型具有能生成具有置信区间的预测、可以从小数据集中学习、抗过拟合等技术优势,因此在机器学习社区中迅 ...
🔥 神经网络用于难处理模型的参数估计
【摘 要】 当标准似然估计方法在计算上不可行时,我们建议使用深度学习来估计统计模型中的参数。我们展示了如何从最大稳定过程中估计参数,其中即使使用小数据集进行推理也非常具有挑战性,但模拟很简单。我们使用来自模型模拟的数据作为输入并训练深度神经网络来学习统计参数。我们基于神经网络的方法为当前方法提供了一种有竞争力的替代方法,这一点在相当大的准确性和计算时间改进中得到了证明。它作为统计参数估计中深度学习的概念证明,可以扩展到其他估计问题。
【原 文】 Lenzi, A. et al. (2021) ‘Neural Networks for Parameter Estimation in Intractable Models’. arXiv. Available at: http://arxiv.org/abs/2107.14346 (Accessed: 15 November 2022).
1 简介
由于数据存储和传感器技术的进步,越来越多的大型数据集不可避免地显示出复杂的依赖关系,给统计建模和预测带来了新的机遇和新的挑战。环境过程给出了一个重要的例子,数据集可以在多个空间和时间 ...
使用神经网络实现空间高斯过程模型的快速协方差参数估计
【摘 要】 当标准似然估计方法在计算上不可行时,我们建议使用深度学习来估计统计模型中的参数。我们展示了如何从最大稳定过程中估计参数,其中即使使用小数据集进行推理也非常具有挑战性,但模拟很简单。我们使用来自模型模拟的数据作为输入并训练深度神经网络来学习统计参数。我们基于神经网络的方法为当前方法提供了一种有竞争力的替代方法,这一点在相当大的准确性和计算时间改进中得到了证明。它作为统计参数估计中深度学习的概念证明,可以扩展到其他估计问题。
【原 文】 Lenzi, A. et al. (2021) ‘Neural Networks for Parameter Estimation in Intractable Models’. arXiv. Available at: http://arxiv.org/abs/2107.14346 (Accessed: 15 November 2022).
1 简介
由于数据存储和传感器技术的进步,越来越多的大型数据集不可避免地显示出复杂的依赖关系,给统计建模和预测带来了新的机遇和新的挑战。环境过程给出了一个重要的例子,数据集可以在多个空间和时间 ...
🔥 空间大数据组织管理方法索引帖
〖摘 要〗 个人用于整理时空大数据引擎原理、方法及其实现的汇总帖,大致分为综述、原理方法、工程实践三个板块。
一、 综述
《空间大数据引擎综述文章:大数据时代的空间数据引擎》
二、原理方法
空间索引方法综述:
《基于空间填充曲线的降维方法》: 介绍如何利用 Z 序 Hillbert 曲线等空间填充曲线方法,实现多维空间的降维索引。
《空间填充曲线的聚簇性分析》: 从理论上分析了空间填充曲线的聚簇性,表明空间填充曲线无法做到任意位置的高聚簇性。
《扩展 Z 序曲线(XZ-Ordering)索引》: 德国慕尼黑大学教授提出的一种有缝有叠的剖分和填充曲线方式,可有效解决跨剖分面片的单编码空间覆盖问题。
三、工程实践
《全文数据库中多维数据检索效率的提升方法》: 基于可分布式部署的传统关系型数据库或全文数据库,其实现机制和单机数据库区别不大,并行机制来自于分布式数据库本身。本文主要介绍了全文数据库(关系型数据库类似)的实现机制,以及空间索引在其中的结合方法。典型代表如:Parallel Secondo、Paradise、 Sphinx 等。此外,专门面向 ...
🔥 深度神经网络用于大规模空间预测
【摘 要】 对于空间克里金预测,高斯过程 (GP) 几十年来一直是空间统计学家的首选工具。然而,高斯过程受到计算困难的困扰,使其无法用于大型空间数据集。另一方面,神经网络 (NN) 已成为一种灵活且计算上可行的捕获非线性关系的方法。然而,迄今为止,神经网络仅很少用于解决空间统计问题,但它们的使用已开始扎根。在这项工作中,我们论证了神经网络和高斯过程之间的等价性,并演示了如何为大型空间数据的克里金法实施神经网络。我们比较了神经网络的计算效率和预测能力与高斯过程近似在各种大空间高斯、非高斯和二进制数据应用程序中的计算效率和预测能力,大小高达 n=106n = 10^6n=106。我们的结果表明,完全连接的神经网络的性能与状态相似用于短期预测的最先进的高斯过程近似模型,但可能会受到更长期预测的影响。
【原 文】 Gray, S.D. et al. (2022) ‘On the Use of Deep Neural Networks for Large-Scale Spatial Prediction’, Journal of Data Science, pp. 493–511. ...
🔥 大规模面元数据统计分析方法索引帖
〖摘 要〗 暂时没有启动阅读工作,待整理。
#refplus, #refplus li{
padding:0;
margin:0;
list-style:none;
};
document.querySelectorAll(".refplus-num").forEach((ref) => {
let refid = ref.firstChild.href.replace(location.origin+location.pathname,'');
let refel = document.querySelector(refid);
let refnum = refel.dataset.num;
let ref_content = refel.innerText.replace(`[${refnum}]`,'');
tippy(ref, {
cont ...