BayesNN

【摘 要】 不确定性表示对于深度学习的安全可靠部署至关重要。贝叶斯方法提供了一种自然机制来表示认知不确定性，从而改进泛化和校准预测分布。了解近似推断的保真度具有超越衡量特定任务泛化的标准方法的非凡价值：如果近似推断正常工作，那么我们可以期望在任意数量的现实世界设置中进行更可靠和准确的部署。在本次比赛中，我们使用通过数百个张量处理单元 (TPU) 设备并行计算获得的哈密顿蒙特卡罗 (HMC) 样本作为参考，评估深度学习中近似贝叶斯推断程序的保真度。我们考虑了各种任务，包括图像识别、回归、协变量偏移和医学应用。所有数据都是公开的，我们发布了几个基线，包括随机 MCMC、变分方法和深度集成。比赛导致许多团队提交了数百份作品。获奖作品都涉及新颖的多峰值后验近似，突出了表示多种峰值的相对重要性，并建议我们不应将深度集成视为标准单峰近似的“非贝叶斯”替代方案。未来，该竞赛将为深度学习中近似贝叶斯推断程序的创新和持续基准测试提供基础。 HMC 样品将继续通过竞赛网站提供 【原 文】 Wilson, A.G. et al. (2022) ‘Evaluating approximate in ...

【摘 要】 对不确定性和稳健性的高质量估计对于许多现实世界的应用至关重要，尤其是对于作为许多已部署 ML 系统基础的深度学习而言。因此，比较改进这些估计的技术的能力对于研究和实践都非常重要。然而，由于一系列原因，通常缺乏方法的竞争性比较，包括：用于广泛调整的计算可用性、合并足够多的基线以及用于再现性的具体文档。在本文中，我们介绍了不确定性基线：在各种任务上高质量地实施标准和最先进的深度学习方法。在撰写本文时，该集合涵盖 9 个任务的 19 种方法，每个方法至少有 5 个指标。每个基线都是一个独立的实验管道，具有易于重用和扩展的组件。我们的目标是为新方法或应用的实验提供直接起点。 此外，我们还提供模型检查点、作为 Python 笔记本的实验输出以及用于比较结果的排行榜。 https://github.com/google/uncertainty-baselines 【原 文】 Nado, Z. et al. (2021) Uncertainty Baselines: Benchmarks for Uncertainty & Robustness in Deep Lea ...

【摘 要】 包括深度学习在内的现代机器学习方法在监督学习任务的预测准确性方面取得了巨大成功，但在给出预测不确定性的有用估计方面可能仍存在不足。量化不确定性在现实环境中尤为重要，现实环境通常涉及由于样本偏差和非平稳性等多种因素而从训练分布中漂移的输入分布。在这种情况下，经过良好校准的不确定性估计会传达有关何时应该（或不应该）信任模型输出的信息。许多概率深度学习方法，包括贝叶斯和非贝叶斯方法，已在文献中提出用于量化预测不确定性，但据我们所知，以前没有对这些方法在数据集漂移下进行严格的大规模实证比较。我们提出了现有最先进的分类问题方法的大规模基准，并研究了数据集漂移对准确性和校准的影响。我们发现传统的事后校准确实存在不足，其他几种先前的方法也是如此。然而，一些边缘化模型的方法在广泛的任务中给出了令人惊讶的强大结果。 【原 文】 Ovadia, Y. et al. (2019) ‘Can You Trust Your Model’s Uncertainty? Evaluating Predictive Uncertainty Under Dataset Shift’. 1 简介 最 ...

【摘 要】 黑盒机器学习模型现在常被应用于高风险环境中，例如医疗诊断，这需要量化不确定性以避免模型失败。共形预测是一种用户友好的范式，用于为上述高风险的预测创建统计上严格的不确定性集合（或区间）。至关重要的是，这些集合在数据分布不明确的意义上也是有效的：即使没有分布假设或模型假设，这些集合也具有明确的、非渐近的保证。可以将共形预测与任何已经训练好的模型（例如神经网络）一起使用，以生成能够按照用户指定概率（如 90%90\%90% ）包含基本事实的集合。共形预测易于理解、易于使用并且具备通用性，适用于计算机视觉、自然语言处理、深度强化学习等领域出现的各类问题。本文旨在通过一个自包含的文档，使读者能够理解共形预测和相关无分布不确定性量化技术工作原理。我们将引导读者了解共形预测的实用理论和示例，并描述其对复杂机器学习任务的扩展，包括结构化输出、分布偏移、时间序列、异常值、Dropout 模型等。 【原 文】 Angelopoulos, A. N. and Bates, S.(2021). “A Gentle Introduction to Conformal Prediction ...

【原文序言】 本人对最近 关于贝叶斯深度学习的一些误解 发布了回应 。从那以后，大家一直要求我将其更进一步发展为容易被理解，且能自成一体的参考资料。为此，我专门在此发布此帖，希望对那些正在寻求了解 “贝叶斯推断独特之处” 以及 “贝叶斯推断在深度学习中为何有价值” 的人们有所帮助。此外，最近人们存在一些对 深度集成 和 贝叶斯方法 之间的误解，认为两者之间存在相互竞争的关系，因此，本文还旨在帮助大家厘清 近似贝叶斯推断 和 深度集成 之间的联系。 【论文背景】 2019 年 12 月， OpenAI 的研究人员 Carles Gelada 发布了一篇推文，表示 “贝叶斯神经网络毫无意义”，其主要论据是深度集成方法已经被证明比传统贝叶斯方法更为有效。一石激起千层浪，社区对此言论展开了激烈的讨论，其中纽约大学的 Wilson 教授 对此给予了驳斥，并专门发论文进行了科学地回应。不过话说回来， Carles Gelada 可能真的书读少了，模型选择、模型平均、模型集成不仅仅是贝叶斯领域的重点领域，而且很可能是未来机器真正自动选择 AI 模型的可能解决途径之一。 【原 文】 And ...

【摘 要】在现代深度学习中，估计贝叶斯模型平均值的积分有很多挑战，包括高维的参数空间和复杂的后验形态。但是，将这一挑战切实地视为一个积分问题，而非试图为蒙特卡洛近似获得后验样本，会为未来的进展提供机会。贝叶斯深度学习已经取得了快速的实际进展，现在的方法能够比标准训练有更好的准确性和校准，而且开销最小。 【原 文】Wilson, A.G. and Izmailov, P. (2020) ‘Bayesian Deep Learning and a Probabilistic Perspective of Generalization’, in Advances in Neural Information Processing Systems. Curran Associates, Inc., pp. 4697–4708. Available at: https://proceedings.neurips.cc/paper/2020/hash/322f62469c5e3c7dc3e58f5a4d1ea399-Abstract.html. 〖论文贡献〗 论文表明： 深度集成为近似 ...

【摘 要】 一个全面的人工智能系统不仅需要感知环境，还需要推断关系（甚至因果）及其不确定性。过去十年中，深度学习在感知任务中取得了重大进展，例如：用于视觉对象识别和语音识别。但对更高级的推断任务而言，具有贝叶斯性质的概率图模型（Probabilistic Graphical Model， PGM ）则更强大和灵活。近年，贝叶斯深度学习作为统一的概率框架出现，将深度学习和贝叶斯模型紧密结合在一起，用深度学习对文本、图像的感知能力来提高进一步推断的性能，反过来，通过推断过程的反馈来增强文本或图像的感知能力。本文对贝叶斯深度学习进行了较为全面的介绍，综述了贝叶斯深度学习在推荐系统、主题模型、控制等方面的应用，并讨论了贝叶斯深度学习与神经网络的贝叶斯处理等相关课题的联系与区别。 【原 文】 Wang H， Yeung D Y. A survey on Bayesian deep learning[J]. ACM Computing Surveys (CSUR)， 2020， 53(5): 1-37. 【作者博客】 wanghao.in/BDL.html 【阅后感】 贝叶斯深度学习的 ...

【摘 要】 理解模型的不确定性（uncertainty）是机器学习的关键。但能够理解不确定性的传统机器学习方法（如高斯过程，Gaussian Processes, GP），很难应用于如图像、视频等高维数据。深度学习（Deep Learning）能够高效处理该类数据，但其难以对不确定性建模。本文将介绍一个重新兴起的领域，称为贝叶斯深度学习 （贝叶斯深度学习），它提供了一个可以建模不确定性的深度学习框架。贝叶斯深度学习可以达到最先进的结果，同时也能理解不确定性。 【原 文】 见 Deep Learning Is Not Good Enough,We Need Bayesian Deep Learning for Safe AI 【阅后感】 本文作者是 MC Dropout 方法提出团队的成员之一，本文以博客形式发布，浅显易懂，可以作为入门级别的读物。重点掌握：（1）不确定性的来源和分类；（2）不同不确定性的建模思路；（3）在偶然不确定性方面，作者提出了数据依赖和任务依赖两种子类型，并针对任务依赖型数据不确定性进行了建模；（4）具体技术细节参考博文中提供的两篇论文。 1、 背景 ...

【摘 要】 “信念校准”（预测器输出的概率性预测结果与真实正确结果之间的可代表性纠正问题）对于许多分类模型非常重要。我们发现，与十年前不同，现代神经网络的校准很差。通过大量实验，我们观察到深度、宽度、权重衰减和批量归一化是影响校准的重要因素。我们评估了各种后处理校准方法在图像和文档分类数据集及现代神经网络架构上的性能。我们的分析和实验不仅提供了对神经网络学习的见解，而且还为实际场景提供了一个简单而直接的方法：在大多数数据集上，温度定标法（一种 Platt 定标法 的单参数变体）在校准预测方面非常有效。 【原 文】 Guo, C., Pleiss, G., Sun, Y., and Weinberger, K. Q. 2017. On Calibration of Modern Neural Networks. Proceedings of the 34th International Conference on Machine Learning, PMLR, 1321–1330. 【阅后感】 本文是近年有关现代神经网络的不确定性校准问题的最重要的一篇文献。作者在总结了分类神 ...

〖摘 要〗神经网络已经为许多机器学习任务提供了最先进的结果，例如计算机视觉、语音识别和自然语言处理领域的检测、回归和分类任务等。尽管取得了成功，但它们通常是在频率学派框架内实施的，这意味着其无法对预测中的不确定性进行推断。本文介绍了贝叶斯神经网络及一些开创性研究，对不同近似推断方法进行了比较，并提出未来改进的一些方向。 〖原 文〗Goan, E., & Fookes, C. (2020). Bayesian Neural Networks: An Introduction and Survey. https://arxiv.org/abs/2006.12024 〖阅后感〗获得神经网络预测不确定性的方法有很多种（参见《深度神经网络中的不确定性调研报告》），而本文主要介绍其中的贝叶斯神经网络方法。内容涉及浅层神经网络中的贝叶斯方法尝试、深层神经网络中面临的问题即推断方法等。 1 引言 长期以来，仿生学一直是技术发展的基础。科学家和工程师反复使用物理世界的知识来模仿自然界对经过数十亿年演变而来的复杂问题的优雅解决方案。生物仿生学在统计学和机器学习中的重要应用是发展了感知机 ...