概率图模型

〖摘要〗 〖原文〗 Standford cs228 notes 〖参考〗CMU 10-708 Slides / CMU 10-708 Lecture Notes / Jordan TextBook, Ch.2(section 2.2 - end) / Koller’s Textbook,Ch.4 / A. Fischer and C. Igel, An Introducton to Restricted Boltzmann Machines / B. A. Cipra, An Introduction to the Ising Model

〖摘要〗 〖原文〗 Standford cs228 notes 〖参考〗CMU 10-708 Slides / CMU 10-708 Lecture Notes / Jordan TextBook, Ch.2(section 2.2 - end) / Koller’s Textbook,Ch.4 / A. Fischer and C. Igel, An Introducton to Restricted Boltzmann Machines / B. A. Cipra, An Introduction to the Ising Model

〖摘要〗 〖原文〗 Standford cs228 notes 〖参考〗CMU 10-708 Slides / CMU 10-708 Lecture Notes / Jordan TextBook, Ch.2(section 2.2 - end) / Koller’s Textbook,Ch.4 / A. Fischer and C. Igel, An Introducton to Restricted Boltzmann Machines / B. A. Cipra, An Introduction to the Ising Model

〖摘要〗 〖原文〗 Standford cs228 notes 〖参考〗CMU 10-708 Slides / CMU 10-708 Lecture Notes / Jordan TextBook, Ch.2(section 2.2 - end) / Koller’s Textbook,Ch.4 / A. Fischer and C. Igel, An Introducton to Restricted Boltzmann Machines / B. A. Cipra, An Introduction to the Ising Model

〖摘要〗 〖原文〗 Standford cs228 notes 〖参考〗CMU 10-708 Slides / CMU 10-708 Lecture Notes / Jordan TextBook, Ch.2(section 2.2 - end) / Koller’s Textbook,Ch.4 / A. Fischer and C. Igel, An Introducton to Restricted Boltzmann Machines / B. A. Cipra, An Introduction to the Ising Model

〖摘要〗 〖原文〗 Standford cs228 notes 〖参考〗CMU 10-708 Slides / CMU 10-708 Lecture Notes / Jordan TextBook, Ch.2(section 2.2 - end) / Koller’s Textbook,Ch.4 / A. Fischer and C. Igel, An Introducton to Restricted Boltzmann Machines / B. A. Cipra, An Introduction to the Ising Model

〖摘要〗 〖原文〗 Standford cs228 notes 〖参考〗CMU 10-708 Slides / CMU 10-708 Lecture Notes / Jordan TextBook, Ch.2(section 2.2 - end) / Koller’s Textbook,Ch.4 / A. Fischer and C. Igel, An Introducton to Restricted Boltzmann Machines / B. A. Cipra, An Introduction to the Ising Model

〖摘要〗 有向概率图模型又称贝叶斯网络， 〖原文〗ccs228-notes 〖参考〗CMU 10-708 Slides / CMU 10-708 Lecture Notes / Jordan TextBook, Ch.2(section 2.1) / Koller’s Textbook,Ch. 3 1 简介 我们从 “表示” 的主题开始：如何选择概率分布来模拟世界的某些有趣的方面？ 想出一个好的模型并不总是那么容易：在前面已经看到，一个简单的垃圾邮件分类模型需要我们指定一些参数，这些参数与英语单词的数量成指数关系！ 在本章中，我们将学习一种避免这些症状的方法。我们准备： 学习一种有效且通用的技术，仅使用几个参数来参数化概率分布。 了解如何通过有向无环图 (DAG) 优雅地描述生成模型。 研究 DAG 的结构与其所描述的分布以及建模假设之间的联系；这不仅会使这些建模假设更加明确，而且还将帮助我们设计更有效的推断算法。 本文中的各种模型都是有向图，也被称为『贝叶斯网络』。我们在后面还会看到另外一种方法：无向图，也称为马尔可夫随机场 (MRF)。 贝叶斯网络能够有效地展示因果 ...

【摘 要】

【摘 要】 如果存在具有棘手后验的连续型隐变量和大数据集，我们如何在有向概率图模型中进行有效的推断和学习？ 本文引入了一种随机变分推断和学习算法。该算法能够在一些轻度差异化（甚至棘手）的情况下工作，并且能够扩展到大型数据集。本文的贡献有两个：首先，证明了重参数化方法可以产生一个对变分下界的无偏估计，并且该估计方法能够使用随机梯度方法做优化。其次，对于有连续型隐变量的独立同分布数据集，我们利用重参数化的变分下界估计，成功地为棘手后验拟合了近似的推断模型。理论优势最终反映在了实验结果中。 1 介绍 当模型中存在具有棘手后验的连续型隐变量和/或参数时，我们如何使用有向概率图模型进行近似推断和学习呢？ 在实践中，变分推断方法可以采用优化方法对棘手后验做近似推断。目前常用的平均场变分推断方法，利用指数族分布来构建一个近似的变分下界，但该方法中需要期望（相对于近似后验）的解析解，这在一般情况下很难适用。 关于变分推断的知识参阅 初始变分推断 贝叶斯方法需要对分布作出推断，由于精确推断通常非常棘手，因此近似推断方法得到了广泛应用。变分推断方法作为其中一种近似推断方法，其核心理念是： ...