西山晴雪的知识笔记

# 第 0 章 初始化 本书的目的：提出一套能够让我们从理论上分析实际深度神经网络的原理和方法。主要包含两点： 在理论上为什么深度神经网络可以实现其目标？ 我们如何能够在实践中通过这些理论指导来实现目标？ 0.1 有效理论（1）问题的提出 虽然现代深度学习模型是由看似无数的基本计算组件构建的，但解释神经网络从低级组件如何计算得到函数值的的第一性原理微观描述还是易于理解的。这种微观描述是将输入通过多层组件转换为输出的一组指令，不过这些组件在训练过程中需要精细地调优，而一个系统需要掌握特定的调优知识才能产生有用的输出。 第一性原理（First...

在变分贝叶斯方法中， 证据下界 （通常缩写为 ELBO ，有时也称为 变分下界 [1]或 **负变分自由能** ）是一个关于观测数据对数似然的常用下界。 ## 1 术语和符号 设 $X$ 和 $Z$ 为随机变量，其联合分布为 $p_\theta(X,Z)$（简写为 $p_{\theta}$ ），$p_{\theta}(X)$ 是 $X$ 的边缘分布，$p_{\theta}(Z \mid X)$ 是给定 $X$ 时 $Z$ 的条件分布。 对于 $X$ 的任意样本实现 $x \sim p_{\theta}$ 和任何分布 $q_{\phi}$ ，有 $$ \ln p_{\theta}(x) \geq \mathbb {E}_{z \sim q_{\phi }} \left[\ln{\frac{p_{\theta}(x,z)}{q_{\phi}(z)}}\right]. $$ 在变分贝叶斯方法的术语中，**观测变量的分布 $p_{\theta}(X)$ 通常被称为 _证据_ ，其对数形式 $\ln p_{\theta}(X)$ 被称为...

【摘 要】 具有非平稳和各向异性协方差结构的空间过程通常用于建模、分析和预测复杂的环境现象。这些过程通常可以表示为在扭曲空间域上具有平稳和各向同性协方差结构的过程。然而，翘曲函数通常难以拟合并且不受限于单射，经常导致 “空间折叠” 。在这里，我们建议通过深度学习框架中的多个元素单射函数的组合来建模单射翘曲函数。我们考虑两种情况；首先，当这些函数知道一些需要估计的权重时，其次，当每层中的权重是随机的时。受深度学习和深度高斯过程的最新方法和技术进步的启发，我们采用近似贝叶斯方法使用图形处理单元对这些模型进行推断。通过一维和二维的模拟研究，我们表明深度成分空间模型可以快速拟合，并且能够提供比类似复杂度的其他深度随机模型更好的预测和不确定性量化。我们还展示了他们使用 Aqua 卫星上 MODIS 仪器的辐射对非平稳、各向异性空间数据进行建模的非凡能力。 【原 文】 Zammit-Mangion, A. et al. (2022) ‘Deep compositional spatial models’, Journal of the American Statistical...

【摘 要】高斯过程的可扩展性问题起步本世纪初，主要是随着数据条件的优化而牵引出来的问题。其本质是核矩阵（或协方差矩阵）的 “大 N 问题”，导致 $\mathcal{O}(n^3)$ 的计算复杂度核 $\mathcal{O}(n^2)$ 的存储复杂度。 本文梳理了目前的主要应对方法，其中部分方法和高斯过程推断方法 有很大关系，因此两者之间会存在一些交叉。 1 综述类Liu 2020 年的 可扩展高斯过程综述:...

【摘 要】 高斯过程具有不确定性估计能力，而（深度）神经网络具有灵活的万能逼近能力。因此，如何将神经网络与高斯过程很好地结合（一方面增强神经网络的不确定性量化能力和可解释性，另一方面有效解决高斯过程的可扩展性问题），已经成为最近 5 - 10 年比较热门的研究领域。本文对相关文献进行了梳理，大致分为四种类型： “神经网络与高斯过程的组合（NN + GP）”、 “高斯过程的神经网络实现（NN Is GP）”、 “高斯过程核的神经网络训练（NN GP Training）”、 “神经网络的高斯过程视角（Interprete NN with GP）”。 1 综述类暂无。 2 神经网络与高斯过程的组合（ NN + GP ） Damianou 2013 年的 《深度高斯过程》 ： 首次尝试神经网络与高斯过程的结合，提出了使用多个等效于高斯过程的神经网络层堆叠形成一种新型的深度信念网络（本质是特征学习，采用逐层训练策略）模型，并称之为深度高斯过程，该团队还给出无限多次组合后的核退化形式。 Vinyals 等 2016 年的 《匹配神经网络》： Matching networks...

1 高斯过程（场）与深度学习的结合参见 《神经网络高斯过程索引贴》。 2 高斯马尔可夫随机场与深度学习的结合Sidén 2020 年的 《深度马尔可夫随机场》: 高斯马尔可夫随机场 (GMRF) 是一种广泛应用于空间统计和相关领域的概率图模型，用于模拟空间结构的依赖性。我们在 GMRF 和卷积神经网络 (CNN) 之间建立了正式联系。常见的 GMRF 是生成模型的特例，其中从数据到潜在变量的逆映射由 1 层线性 CNN 给出。这种连接使我们能够将 GMRF 推广到多层 CNN 架构，以一种有利于计算缩放的方式有效地增加相应 GMRF 的阶数。我们描述了如何使用成熟的工具（例如 autodiff 和变分推理）来简单有效地推理和学习深度 GMRF。我们展示了所提出模型的灵活性，并表明它在预测和预测不确定性方面优于卫星温度数据集上的最新技术。 3 空间统计与深度学习的结合–综述Wikle 2022 年的 《空间数据和时空数据的统计深度学习》:...

【摘 要】高斯过程作为一种用于预测的非参数模型，可以用于回归任务，也可以用于分类任务。高斯过程面临的最大问题在于，当面临大数据时，其计算复杂度为 $\mathcal{O}(n^3)$，内存复杂度为 $\mathcal{O}(n^2)$，这使其在新形势下的使用非常困难。本文对2006年之前的主要大数据的高斯过程处理方法进行了综述，可以作为了解该方向工作的基础。《机器学习中的高斯过程》一书是高斯过程研究领域的扛鼎之作，本文主要节选自该书的第八章。 【原 文】 Rasmussen, C.E. and Williams, C.K. (2006), Chapter 8 of Gaussian processes for machine learning. Cambridge, Mass: MIT press Cambridge, MA (3). 正如我们在前面的章节中看到的，高斯过程预测的一个重要问题是它的计算规模通常为 $\mamthcal{O}(n^3)$。对于大型问题（例如 $n > 10,000$），存储 Gram...

【摘 要】 神经过程 (NPs) 是一类流行的元学习方法。与高斯过程 (GP) 类似，神经过程定义函数的分布并可以估计其预测中的不确定性。然而，与 GP 不同，神经过程及其变体存在欠拟合问题，并且通常具有难以处理的似然，这限制了它们在顺序决策中的应用。我们提出了 Transformer Neural Processes (TNPs)，这是神经过程家族的新成员，它将不确定性感知元学习转化为序列建模问题。我们通过基于自回归似然的目标来学习 TNP，并使用一种新颖的基于 transformer 的架构对其进行实例化。模型架构尊重问题结构固有的归纳偏差，例如对观测到的数据点的不变性和对未观测到的点的等变性。我们进一步研究了 transformer 神经过程框架内的旋钮，这些旋钮在解码分布的表现力与额外计算之间进行了权衡。根据经验，我们表明 transformer 神经过程在各种基准问题上实现了最先进的性能，在元回归、图像补全、上下文多臂老虎机和贝叶斯优化方面优于所有以前的神经过程变体。 【原 文】 Nguyen, T. and Grover, A. (2023)...

【摘 要】在现代科学中，计算机模型经常被用来理解复杂的现象，一个蓬勃发展的统计社区围绕着分析它们而发展起来。这篇综述旨在关注日益流行的随机计算机模型——为从业者提供统计方法目录，为统计学家（无论是否熟悉确定性计算机模型）提供介绍性观点，并强调与以下方面相关的开放性问题从业者和统计学家。高斯过程代理模型在本次调研中占据中心位置，并解释了这些模型以及随机设置所需的几个扩展。讨论中突出了设计随机计算机实验和校准随机计算机模型的基本问题。带有数据和代码的指导性示例用于描述各种方法的实现和结果。 【原 文】 Baker, E. et al. (2022) ‘Analyzing Stochastic Computer Models: A Review with Opportunities’, Statistical Science, 37(1). Available at: https://doi.org/10.1214/21-STS822. 1...

安装1yay -S nutstore 白屏双击图标，白屏？ 修改 /opt/nutstore/conf/nutstore.properties（ 如果安装在个人目录，查看 ~/.nutstore/conf/dist/conf/nutstore.properties） 1sudo sed -i 's|webui.enable=true|webui.enable=false|' /opt/nutstore/conf/nutstore.properties 窗口太小无法全部显示（1）利用 KDE 的窗口设置功能（左上角右键菜单/更多操作/窗口规则设置/配置特殊引用程序窗口设置..） （2）添加新属性（貌似 $600 \times 500$ 比较合适） （3）应用设置进行设置 如此完成设置，窗口内主要要素基本都能显示出来了。 桌面使用了暗色主题导致部分字体不清晰？ 这字体鬼看得见？ 参考使用fakehome方案暂时解决跑在KDE暗色主题下的程序使用亮色字体的问题编写启动命令 1bwrap --dev-bind / /...