西山晴雪的知识笔记

【摘 要】 许多历史地图页可公开用于需要长期历史地理数据的研究。这些地图的制图设计包括地图符号和文字标签的组合。从地图图像中自动读取文本标签可以大大加快地图解释速度，并有助于生成描述地图内容的丰富元数据。已经提出了许多文本检测算法来自动定位地图图像中的文本区域，但大多数算法都是在域外数据集（例如风景图像）上训练的。训练数据决定了机器学习模型的质量，而在地图图像中手动标注文本区域既费力又费时。另一方面，现有的地理数据源，例如 OpenStreetMap (OSM)，包含机器可读的地图图层，这使我们可以轻松地分离出文本图层并获得文本标签注释。但是，OSM 地图瓦片和历史地图之间的制图风格明显不同。本文提出了一种自动生成无限量带注释的历史地图图像的方法，用于训练文本检测模型。我们使用样式转换模型将当代地图图像转换为历史样式并在其上放置文本标签。我们表明，最先进的文本检测模型（例如 PSENet）可以从合成历史地图中受益，并在历史地图文本检测方面取得显着改进。 【原 文】 Lunga, D., Hu, Y., Newsam, S., Gao, S., Martins, B., Ya ...

〖摘要〗扩散模型是一类具有丰富理论基础的深度生成模型，在各种任务中都取得了令人印象深刻的结果。尽管扩散模型比其他先进模型取得了更令人印象深刻的质量和样本多样性，但它们仍然存在昂贵的采样过程和次优的似然估计。近年来，研究人员对扩散模型性能的改进表现出极大的热情。在本文中，我们提出了对扩散模型现有变体的第一个全面综述。具体地说，我们提供了扩散模型的第一种分类法，将其变体分为三种类型：采样加速增强类、似然最大化增强类和数据泛化增强类。我们还介绍了其他五种生成模型(即变分自编码器、生成对抗网络、归一化流、自回归模型和基于能量的模型)，并阐明了扩散模型和这些生成模型之间的联系。文末对扩散模型的应用进行了深入探讨，包括计算机视觉、自然语言处理、波形信号处理、多模态建模、分子图生成、时间序列建模和对抗性纯化等。 〖原文〗Yang, L., Zhang, Z., Hong, S., Xu, R., Zhao, Y., Shao, Y., Zhang, W., Yang, M.-H., & Cui, B. (2022). Diffusion Models: A Comprehensi ...

〖摘要〗 在很多模型假设中，存在各种形式的隐变量和隐结构，其目的是使高维数据能够得到足够地解释，以发现或挖掘隐藏在可观测数据深层的知识或信息。我们可以将此类模型暂时称为 发现模型 或者 广义隐变量模型。本文是此类模型的一个总揽，大部分内容摘自 Murphy 的《机器学习：高级主题》的第 27 章。 在本部分中，我们专注于能够为 问题提出 发现模型假设我们能够观测到的数据 x\boldsymbol{x}x 是由某些底层的潜在因素 z\boldsymbol{z}z （ 通常是低维的 ）导致，并且通常 z\boldsymbol{z}z 代表了世界的某种 “真实” 状态。至关重要的是，这些潜在因素通常被认为对模型的最终用户有意义 （ 也就是说，评估此类模型需要领域专业知识，具有可解释性 ）。 我们的目的是通过对可观测数据 x\boldsymbol{x}x 的处理，得到潜在因素 z\boldsymbol{z}z 的底层作用机理， 进而能够给可观测数据的生成作出一个合理的解释。 这种反向建模方法广泛用于科学和工程中，其中 z\boldsymbol{z}z 代表了自然界中待估计的潜在状态 ...

〖摘要〗 在很多模型假设中，存在各种形式的隐变量和隐结构，其目的是使高维数据能够得到足够地解释，以发现或挖掘隐藏在可观测数据深层的知识或信息。我们可以将此类模型暂时称为 发现模型 或者 广义隐变量模型。本文是此类模型的一个总揽，大部分内容摘自 Murphy 的《机器学习：高级主题》的第 27 章。 在本部分中，我们专注于能够为 问题提出 发现模型假设我们能够观测到的数据 x\boldsymbol{x}x 是由某些底层的潜在因素 z\boldsymbol{z}z （ 通常是低维的 ）导致，并且通常 z\boldsymbol{z}z 代表了世界的某种 “真实” 状态。至关重要的是，这些潜在因素通常被认为对模型的最终用户有意义 （ 也就是说，评估此类模型需要领域专业知识，具有可解释性 ）。 我们的目的是通过对可观测数据 x\boldsymbol{x}x 的处理，得到潜在因素 z\boldsymbol{z}z 的底层作用机理， 进而能够给可观测数据的生成作出一个合理的解释。 这种反向建模方法广泛用于科学和工程中，其中 z\boldsymbol{z}z 代表了自然界中待估计的潜在状态 ...

〖摘要〗本文提出了一个采用蒙特卡洛方法的新框架，用于从小批量迭代学习的大规模数据集学习。当我们对步长进行退火时，将适量噪声添加到标准随机梯度优化算法中，其结果表明迭代将收敛到来自真实后验分布的样本。优化和贝叶斯后验采样之间的这种无缝过渡提供了针对过拟合的内在保护。我们还提出了一种后验统计量的实用蒙特卡洛估计方法，该方法监视 “采样阈值” 并在超过阈值后收集样本。我们基于自然梯度将该方法应用于高斯、逻辑斯谛回归和独立组份分析的混合模型。 〖原文〗 Welling, M. and Teh, Y.W. (2011) ‘Bayesian learning via stochastic gradient Langevin dynamics’, in Proceedings of the 28th international conference on machine learning (ICML-11), pp. 681–688. 1 引言 近年来，越来越多的超大规模机器学习数据集，范围从互联网流量和网络数据、计算机视觉、自然语言处理到生物信息学。现在，这些大规模数据推动了机器学习的 ...

1 简介 nmcli 是 NetworkManager 的命令行工具。 nm 代表 NetworkManager，cli 代表 Command-Line 命令行。 2 NetworkManager 服务 使用 nmcli 时，NetworkManager 必须保持开启。 NetworkManager 的相关命令： 查看运行状态：systemctl status NetworkManager 启动：systemctl start NetworkManager 重启：systemctl restart NetworkManager 关闭：systemctl stop NetworkManager 查看是否开机启动：systemctl is-enabled NetworkManager 开机启动：systemctl enable NetworkManager 禁止开机启动：systemctl disable NetworkManager 注意：NetworkManager 中开头的 N 和中间的 M 必须大写。 3 nmcli 常用命令 下面仅介绍常用的命令，其它命令可以查看 ...

〖摘要〗 〖原文〗 Standford cs228 notes 〖参考〗CMU 10-708 Slides / CMU 10-708 Lecture Notes / Jordan TextBook, Ch.2(section 2.2 - end) / Koller’s Textbook,Ch.4 / A. Fischer and C. Igel, An Introducton to Restricted Boltzmann Machines / B. A. Cipra, An Introduction to the Ising Model

〖摘要〗 〖原文〗 Standford cs228 notes 〖参考〗CMU 10-708 Slides / CMU 10-708 Lecture Notes / Jordan TextBook, Ch.2(section 2.2 - end) / Koller’s Textbook,Ch.4 / A. Fischer and C. Igel, An Introducton to Restricted Boltzmann Machines / B. A. Cipra, An Introduction to the Ising Model

p{text-indent:2em} 1 泰勒展开式 先回顾一下泰勒展开式，因为雅可比矩阵和海森矩阵，都和泰勒展开式有关系。 泰勒公式是将一个在 x=x0x=x_{0}x=x0​ ​处具有 nnn 阶导数的函数 f(x)f(x)f(x) 利用关于 (x−x0)(x-x_{0})(x−x0​) 的 nnn 次多项式来逼近函数的方法。 若函数 f(x)f(x)f(x) 在包含 x0x_{0}x0​ ​的某个闭区间 [a，b][a，b][a，b] 上具有 nnn 阶导数，且在开区间 (a，b)(a，b)(a，b) 上具有 (n+1)(n+1)(n+1) 阶导数，则对闭区间 [a，b][a，b][a，b] 上任意一点 xxx ，下式成立： f(x)=f(x0)0!+f′(x0)1!(x−x0)+f′′(x0)2!(x−x0)2+…+f(n)(x0)n!(x−x0)n+Rn(x)(5)f(x)=\frac{f\left(x_{0}\right)}{0 !}+\frac{f^{\prime}\left(x_{0}\right)}{1 !}\left(x-x_{0}\right)+\ ...

p{text-indent:2em} 什么是中心差分近似？ 对于具有多阶导数的连续函数 f(x)f(x)f(x)， 根据泰勒展开公式有： f(t)=f(t0)+f′(t0)(t−t0)+12!f′′(t0)(t−t0)2+13!f′′′(t0)(t−t0)3+…f(t)=f(t_0) + f^\prime(t_0)(t-t_0)+\frac{1}{2!}f^{\prime\prime}(t_0)(t-t_0)^2 + \frac{1}{3!}f^{\prime\prime\prime}(t_0)(t-t_0)^3 + \ldots f(t)=f(t0​)+f′(t0​)(t−t0​)+2!1​f′′(t0​)(t−t0​)2+3!1​f′′′(t0​)(t−t0​)3+… 示意图如下： 令 h=t−t0h=t-t_0h=t−t0​, t0=xt_0=xt0​=x，则有： f(x+h)=f(x)+hf′(x)+h22!f′′(x)+h33!f′′′(x)+…f(x−h)=f(x)−hf′(x)+h22!f′′(x)−h33!f′′′(x)+…f(x+h)=f(x) + hf ...