西山晴雪的知识笔记

〖摘要〗 在很多模型假设中，存在各种形式的隐变量和隐结构，其目的是使高维数据能够得到足够地解释，以发现或挖掘隐藏在可观测数据深层的知识或信息。我们可以将此类模型暂时称为 发现模型 或者 广义隐变量模型。本文是此类模型的一个总揽，大部分内容摘自 Murphy 的《机器学习：高级主题》的第 27 章。 在本部分中，我们专注于能够为 问题提出 发现模型假设我们能够观测到的数据 x\boldsymbol{x}x 是由某些底层的潜在因素 z\boldsymbol{z}z （ 通常是低维的 ）导致，并且通常 z\boldsymbol{z}z 代表了世界的某种 “真实” 状态。至关重要的是，这些潜在因素通常被认为对模型的最终用户有意义 （ 也就是说，评估此类模型需要领域专业知识，具有可解释性 ）。 我们的目的是通过对可观测数据 x\boldsymbol{x}x 的处理，得到潜在因素 z\boldsymbol{z}z 的底层作用机理， 进而能够给可观测数据的生成作出一个合理的解释。 这种反向建模方法广泛用于科学和工程中，其中 z\boldsymbol{z}z 代表了自然界中待估计的潜在状态 ...

〖摘要〗本文提出了一个采用蒙特卡洛方法的新框架，用于从小批量迭代学习的大规模数据集学习。当我们对步长进行退火时，将适量噪声添加到标准随机梯度优化算法中，其结果表明迭代将收敛到来自真实后验分布的样本。优化和贝叶斯后验采样之间的这种无缝过渡提供了针对过拟合的内在保护。我们还提出了一种后验统计量的实用蒙特卡洛估计方法，该方法监视 “采样阈值” 并在超过阈值后收集样本。我们基于自然梯度将该方法应用于高斯、逻辑斯谛回归和独立组份分析的混合模型。 〖原文〗 Welling, M. and Teh, Y.W. (2011) ‘Bayesian learning via stochastic gradient Langevin dynamics’, in Proceedings of the 28th international conference on machine learning (ICML-11), pp. 681–688. 1 引言 近年来，越来越多的超大规模机器学习数据集，范围从互联网流量和网络数据、计算机视觉、自然语言处理到生物信息学。现在，这些大规模数据推动了机器学习的 ...

1 简介 nmcli 是 NetworkManager 的命令行工具。 nm 代表 NetworkManager，cli 代表 Command-Line 命令行。 2 NetworkManager 服务 使用 nmcli 时，NetworkManager 必须保持开启。 NetworkManager 的相关命令： 查看运行状态：systemctl status NetworkManager 启动：systemctl start NetworkManager 重启：systemctl restart NetworkManager 关闭：systemctl stop NetworkManager 查看是否开机启动：systemctl is-enabled NetworkManager 开机启动：systemctl enable NetworkManager 禁止开机启动：systemctl disable NetworkManager 注意：NetworkManager 中开头的 N 和中间的 M 必须大写。 3 nmcli 常用命令 下面仅介绍常用的命令，其它命令可以查看 ...

〖摘要〗 〖原文〗 Standford cs228 notes 〖参考〗CMU 10-708 Slides / CMU 10-708 Lecture Notes / Jordan TextBook, Ch.2(section 2.2 - end) / Koller’s Textbook,Ch.4 / A. Fischer and C. Igel, An Introducton to Restricted Boltzmann Machines / B. A. Cipra, An Introduction to the Ising Model

〖摘要〗 〖原文〗 Standford cs228 notes 〖参考〗CMU 10-708 Slides / CMU 10-708 Lecture Notes / Jordan TextBook, Ch.2(section 2.2 - end) / Koller’s Textbook,Ch.4 / A. Fischer and C. Igel, An Introducton to Restricted Boltzmann Machines / B. A. Cipra, An Introduction to the Ising Model

p{text-indent:2em} 1 泰勒展开式 先回顾一下泰勒展开式，因为雅可比矩阵和海森矩阵，都和泰勒展开式有关系。 泰勒公式是将一个在 x=x0x=x_{0}x=x0​ ​处具有 nnn 阶导数的函数 f(x)f(x)f(x) 利用关于 (x−x0)(x-x_{0})(x−x0​) 的 nnn 次多项式来逼近函数的方法。 若函数 f(x)f(x)f(x) 在包含 x0x_{0}x0​ ​的某个闭区间 [a，b][a，b][a，b] 上具有 nnn 阶导数，且在开区间 (a，b)(a，b)(a，b) 上具有 (n+1)(n+1)(n+1) 阶导数，则对闭区间 [a，b][a，b][a，b] 上任意一点 xxx ，下式成立： f(x)=f(x0)0!+f′(x0)1!(x−x0)+f′′(x0)2!(x−x0)2+…+f(n)(x0)n!(x−x0)n+Rn(x)(5)f(x)=\frac{f\left(x_{0}\right)}{0 !}+\frac{f^{\prime}\left(x_{0}\right)}{1 !}\left(x-x_{0}\right)+\ ...

p{text-indent:2em} 什么是中心差分近似？ 对于具有多阶导数的连续函数 f(x)f(x)f(x)， 根据泰勒展开公式有： f(t)=f(t0)+f′(t0)(t−t0)+12!f′′(t0)(t−t0)2+13!f′′′(t0)(t−t0)3+…f(t)=f(t_0) + f^\prime(t_0)(t-t_0)+\frac{1}{2!}f^{\prime\prime}(t_0)(t-t_0)^2 + \frac{1}{3!}f^{\prime\prime\prime}(t_0)(t-t_0)^3 + \ldots f(t)=f(t0​)+f′(t0​)(t−t0​)+2!1​f′′(t0​)(t−t0​)2+3!1​f′′′(t0​)(t−t0​)3+… 示意图如下： 令 h=t−t0h=t-t_0h=t−t0​, t0=xt_0=xt0​=x，则有： f(x+h)=f(x)+hf′(x)+h22!f′′(x)+h33!f′′′(x)+…f(x−h)=f(x)−hf′(x)+h22!f′′(x)−h33!f′′′(x)+…f(x+h)=f(x) + hf ...

〖摘要〗 〖原文〗 Standford cs228 notes 〖参考〗CMU 10-708 Slides / CMU 10-708 Lecture Notes / Jordan TextBook, Ch.2(section 2.2 - end) / Koller’s Textbook,Ch.4 / A. Fischer and C. Igel, An Introducton to Restricted Boltzmann Machines / B. A. Cipra, An Introduction to the Ising Model

【摘 要】 许多景深学习应用受益于具有多个回归和分类目标的多任务学习。在本文中，我们观察到此类系统的性能在很大程度上取决于每个任务损失之间的相对权重。手动调整这些权重是困难且昂贵的，这使多任务学习在实践中令人望而却步。我们提出了一种多任务景深学习的原理性方法，它通过考虑每个任务的同质不确定性来权衡多个损失函数。这使我们能够在分类和回归任务中同时学习具有不同尺度或类别的各种数据。我们的模型从单眼输入图像中学习了逐像素的景深回归、语义分割和实例分割。也许会令人惊讶，我们发现，该模型能够学得多任务的权重，并且其性能胜过了在每个任务上单独训练的模型。 【原 文】 Kendall, A., Gal, Y., and Cipolla, R. 2018. Multi-Task Learning Using Uncertainty to Weigh Losses for Scene Geometry and Semantics. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CV ...

〖摘要〗 〖原文〗 Standford cs228 notes 〖参考〗CMU 10-708 Slides / CMU 10-708 Lecture Notes / Jordan TextBook, Ch.2(section 2.2 - end) / Koller’s Textbook,Ch.4 / A. Fischer and C. Igel, An Introducton to Restricted Boltzmann Machines / B. A. Cipra, An Introduction to the Ising Model