西山晴雪的知识笔记

隐变量模型初探 【摘要】隐变量模型常用于揭示计量或统计数据中的一些无法被直接观测到的规律或现象。例如：揭示不同原因导致的异质性、解释可观测变量中的误差构成等。 【作者】Francesco Bartolucci，意大利佩鲁贾大学 【原文】http://www.econ.upf.edu/~michael/latentvariables/ p{text-indent:2em;2} 0 引言 在本部分中，我们专注于能够创建高维数据的可解释表示的模型：隐变量模型。 问题提出 隐变量模型假设观测到的数据 x\boldsymbol{x}x 是由某些底层的潜在因素 z\boldsymbol{z}z （通常是低维的）导致，并且通常 z\boldsymbol{z}z 代表了世界的某种 “真实” 状态。至关重要的是，这些潜在因素被认为对模型的最终用户有意义 （也就是说，评估此类模型需要领域专业知识）。我们的目的是通过对可观测数据 x\boldsymbol{x}x 的处理，得到潜在因素 z\boldsymbol{z}z 的底层作用机理， 进而能够给可观测数据的生成作出一个合理的解释。这种反向建模方 ...

13.1 引言 本章的目的是概述条件自回归和本征自回归。这些模型至少可以追溯到 Besag (1974)，并且从那时起就被广泛用于模拟离散空间变化。 传统上，条件自回归已用于直接模拟在预定义图形或格结构上观测到的数据的空间依赖性。然后，推理通常基于似然或伪似然技术 (Besag, 1974; K̈unsch, 1987)。最近，条件自回归以模块化方式应用于（通常是贝叶斯）复杂层次模型。尽管确实存在一些替代方案（Breslow 和 Clayton，1993 年；Rue、Martino 和 Chopin，2009 年），但此类推理几乎总是使用马尔可夫链蒙特卡罗 (MCMC) 进行。在本章中，我们将描述最常用的条件自回归和本征自回归。重点将放在空间模型上，但我们还将讨论与自回归时间序列模型的关系。事实上，自回归时间序列模型是条件自回归的特例，探索这种关系有助于培养普通班级的直觉和理解力。 本章不会详细描述如何建立基于条件自回归先验分布的层次模型以及如何使用 MCMC 对其进行分析。有关详细讨论，请参阅 Banerjee、Carlin 和 Gelfand，2004 年；希格登, 2 ...

【摘 要】在空间统计学中，面元数据的空间统计建模通常是采用马尔可夫随机场实施的。本文针对单随机变量（随机过程）情况，介绍了其定义、性质、推断方法、分布的计算等内容，尤其突出了高斯马尔可夫随机场（GMRF）。内容摘自 Gelfand 的 《空间统计手册》第十二章。 【原 文】 Gelfand, A.E. et al. (2010)， Handbook of spatial statistics (chapter 12). CRC press. 空间随机变量的有限集合的统计建模，通常通过马尔可夫随机场 (MRF) 完成。 MRF 是通过一组条件分布来指定的，其中每一个条件对应于某个分量在给定其他分量时的条件分布。这使人们能够每次只专注于单个随机变量，并导致了基于模拟的简单 MRF 计算程序，特别是利用马尔可夫链蒙特卡罗 (MCMC) 进行贝叶斯推断。 本章的主要目的是全面介绍高斯马尔可夫随机场（ GMRF ）的情况，重点是通用性质和高效计算方法。示例和应用将会出现在 第 13 章 和 第 14 章。我们将在本章最后讨论联合分布不是高斯的一般情况，特别是著名的 Hammersl ...

【摘 要】 不确定性表示对于深度学习的安全可靠部署至关重要。贝叶斯方法提供了一种自然机制来表示认知不确定性，从而改进泛化和校准预测分布。了解近似推断的保真度具有超越衡量特定任务泛化的标准方法的非凡价值：如果近似推断正常工作，那么我们可以期望在任意数量的现实世界设置中进行更可靠和准确的部署。在本次比赛中，我们使用通过数百个张量处理单元 (TPU) 设备并行计算获得的哈密顿蒙特卡罗 (HMC) 样本作为参考，评估深度学习中近似贝叶斯推断程序的保真度。我们考虑了各种任务，包括图像识别、回归、协变量偏移和医学应用。所有数据都是公开的，我们发布了几个基线，包括随机 MCMC、变分方法和深度集成。比赛导致许多团队提交了数百份作品。获奖作品都涉及新颖的多峰值后验近似，突出了表示多种峰值的相对重要性，并建议我们不应将深度集成视为标准单峰近似的“非贝叶斯”替代方案。未来，该竞赛将为深度学习中近似贝叶斯推断程序的创新和持续基准测试提供基础。 HMC 样品将继续通过竞赛网站提供 【原 文】 Wilson, A.G. et al. (2022) ‘Evaluating approximate in ...

【摘 要】 对不确定性和稳健性的高质量估计对于许多现实世界的应用至关重要，尤其是对于作为许多已部署 ML 系统基础的深度学习而言。因此，比较改进这些估计的技术的能力对于研究和实践都非常重要。然而，由于一系列原因，通常缺乏方法的竞争性比较，包括：用于广泛调整的计算可用性、合并足够多的基线以及用于再现性的具体文档。在本文中，我们介绍了不确定性基线：在各种任务上高质量地实施标准和最先进的深度学习方法。在撰写本文时，该集合涵盖 9 个任务的 19 种方法，每个方法至少有 5 个指标。每个基线都是一个独立的实验管道，具有易于重用和扩展的组件。我们的目标是为新方法或应用的实验提供直接起点。 此外，我们还提供模型检查点、作为 Python 笔记本的实验输出以及用于比较结果的排行榜。 https://github.com/google/uncertainty-baselines 【原 文】 Nado, Z. et al. (2021) Uncertainty Baselines: Benchmarks for Uncertainty & Robustness in Deep Lea ...

【摘 要】 包括深度学习在内的现代机器学习方法在监督学习任务的预测准确性方面取得了巨大成功，但在给出预测不确定性的有用估计方面可能仍存在不足。量化不确定性在现实环境中尤为重要，现实环境通常涉及由于样本偏差和非平稳性等多种因素而从训练分布中漂移的输入分布。在这种情况下，经过良好校准的不确定性估计会传达有关何时应该（或不应该）信任模型输出的信息。许多概率深度学习方法，包括贝叶斯和非贝叶斯方法，已在文献中提出用于量化预测不确定性，但据我们所知，以前没有对这些方法在数据集漂移下进行严格的大规模实证比较。我们提出了现有最先进的分类问题方法的大规模基准，并研究了数据集漂移对准确性和校准的影响。我们发现传统的事后校准确实存在不足，其他几种先前的方法也是如此。然而，一些边缘化模型的方法在广泛的任务中给出了令人惊讶的强大结果。 【原 文】 Ovadia, Y. et al. (2019) ‘Can You Trust Your Model’s Uncertainty? Evaluating Predictive Uncertainty Under Dataset Shift’. 1 简介 最 ...

【摘要】“概率” 和 “似然” 这两个术语，在各种文献中使用非常混乱，大多数人可能会觉得它们就是一回事，很难发现/理解它们之间的区别。本文旨在理清 “概率” 和 “似然” 之间的区别，以便更好地理解贝叶斯方法。 “概率” 和 “似然” 之间的区别！ 最重要的区别：概率依附于可能的结果；而似然依附于假设。 可能的结果是相互排斥且穷举的。假设我们要求受试者预测 101010 次掷硬币的每一次结果，则只有 111111 个可能的结果（ 000 到 101010 个可能正确的预测），而实际结果将始终是可能的结果中的一个且只有一个。因此，附加到可能结果的概率总和必须为 111。 假设与结果不同，既不相互排斥，也不穷举。假设我们测试的对象正确地预测了 101010 个结果中的 777 个。我也许会假设受试者只是在猜测，但你也许会假设受试者会以略高于机会率的方式正确预测结果。这些假设虽然不同，但它们之间并不相互排斥。因此，你允许你的假设中包括我的假设。在技术术语中表达为：我的假设嵌套在你的假设中。当然，其他人也许会假设测试对象具有超出常人的预测能力，而观察到的结果低估了该测试对象下一次预 ...

【摘 要】 黑盒机器学习模型现在常被应用于高风险环境中，例如医疗诊断，这需要量化不确定性以避免模型失败。共形预测是一种用户友好的范式，用于为上述高风险的预测创建统计上严格的不确定性集合（或区间）。至关重要的是，这些集合在数据分布不明确的意义上也是有效的：即使没有分布假设或模型假设，这些集合也具有明确的、非渐近的保证。可以将共形预测与任何已经训练好的模型（例如神经网络）一起使用，以生成能够按照用户指定概率（如 90%90\%90% ）包含基本事实的集合。共形预测易于理解、易于使用并且具备通用性，适用于计算机视觉、自然语言处理、深度强化学习等领域出现的各类问题。本文旨在通过一个自包含的文档，使读者能够理解共形预测和相关无分布不确定性量化技术工作原理。我们将引导读者了解共形预测的实用理论和示例，并描述其对复杂机器学习任务的扩展，包括结构化输出、分布偏移、时间序列、异常值、Dropout 模型等。 【原 文】 Angelopoulos, A. N. and Bates, S.(2021). “A Gentle Introduction to Conformal Prediction ...

【摘 要】 理解模型的不确定性（uncertainty）是机器学习的关键。但能够理解不确定性的传统机器学习方法（如高斯过程，Gaussian Processes, GP），很难应用于如图像、视频等高维数据。深度学习（Deep Learning）能够高效处理该类数据，但其难以对不确定性建模。本文将介绍一个重新兴起的领域，称为贝叶斯深度学习 （贝叶斯深度学习），它提供了一个可以建模不确定性的深度学习框架。贝叶斯深度学习可以达到最先进的结果，同时也能理解不确定性。 【原 文】 见 Deep Learning Is Not Good Enough,We Need Bayesian Deep Learning for Safe AI 【阅后感】 本文作者是 MC Dropout 方法提出团队的成员之一，本文以博客形式发布，浅显易懂，可以作为入门级别的读物。重点掌握：（1）不确定性的来源和分类；（2）不同不确定性的建模思路；（3）在偶然不确定性方面，作者提出了数据依赖和任务依赖两种子类型，并针对任务依赖型数据不确定性进行了建模；（4）具体技术细节参考博文中提供的两篇论文。 1、 背景 ...

【摘 要】 “信念校准”（预测器输出的概率性预测结果与真实正确结果之间的可代表性纠正问题）对于许多分类模型非常重要。我们发现，与十年前不同，现代神经网络的校准很差。通过大量实验，我们观察到深度、宽度、权重衰减和批量归一化是影响校准的重要因素。我们评估了各种后处理校准方法在图像和文档分类数据集及现代神经网络架构上的性能。我们的分析和实验不仅提供了对神经网络学习的见解，而且还为实际场景提供了一个简单而直接的方法：在大多数数据集上，温度定标法（一种 Platt 定标法 的单参数变体）在校准预测方面非常有效。 【原 文】 Guo, C., Pleiss, G., Sun, Y., and Weinberger, K. Q. 2017. On Calibration of Modern Neural Networks. Proceedings of the 34th International Conference on Machine Learning, PMLR, 1321–1330. 【阅后感】 本文是近年有关现代神经网络的不确定性校准问题的最重要的一篇文献。作者在总结了分类神 ...