概率图模型

【摘 要】 高斯混合模型（GMM）用多个高斯概率密度函数（正态分布曲线）精确地量化变量分布，是将变量分布分解为若干基于高斯概率密度函数（正态分布曲线）分布的统计模型。GMM是一种常用的聚类算法，一般使用期望最大算法（Expectation Maximization，EM）进行估计。 1 问题的提出 高斯混合模型（Gaussian Mixed Model）指的是多个高斯分布函数的线性组合，理论上 GMM 可以拟合出任意类型的分布，通常用于解决同一集合下的数据包含多个不同分布的情况（或者是同一类分布但参数不一样，或者是不同类型的分布，比如正态分布和伯努利分布）。 如图1，图中的点在我们看来明显分成两个聚类。这两个聚类中的点分别通过两个不同的正态分布随机生成而来。但是如果没有GMM，那么只能用一个的二维高斯分布来描述图1中的数据。图1中的椭圆即为二倍标准差的正态分布椭圆。这显然不太合理，毕竟肉眼一看就觉得应该把它们分成两类。 这时候就可以使用GMM了！如图2，数据在平面上的空间分布和图1一样，这时使用两个二维高斯分布来描述图2中的数据，分别记为 和 。 图中的两个椭圆分别是这 ...

【摘 要】概率 PCA 模型（pPCA）。

【摘 要】 现代深度学习方法已经成为研究人员和工程师常用的强大工具，可以解决以前似乎不可能解决的问题。然而，深度学习是一种黑箱方法，与其预测相关的不确定性很难量化。而贝叶斯统计学提供了一种形式化方法来理解和量化与深度神经网络预测相关的不确定性。本文为正在使用机器学习（特别是深度学习）的研究人员和科学家，提供了一个相关文献和工具集的概述，以帮助大家设计、实现、训练、使用和评估贝叶斯神经网络。 【原 文】 Laurent Valentin Jospin, Wray Buntine, Farid Boussaid, Hamid Laga, and Mohammed Bennamoun. 2020.Hands-on Bayesian Neural Networks - a Tutorial for Deep Learning Users.ACM Comput. Surv.1, 1 ( July 2020),35 pages. arxiv.org/abs/2007.06823 【阅后感】 本文主要介绍其中贝叶斯神经网络方法，特别是其中深度贝叶斯神经网络方法。内容主要包括：传统贝叶斯神 ...

〖摘要〗概率图模型是机器学习的一个分支，它研究如何使用概率分布来描述世界并对其做出有用的预测。 〖原文〗Stanford’s CS228 〖参考〗 CMU 10-708 Slides CMU 10-708 Notes Jordan’s Textbook Airoldi’s Tutorial p{text-indent:2em} 1 简介 概率图模型是机器学习的一个分支，它研究如何使用概率分布来描述世界并对其做出有用的预测。 学习概率建模的原因有很多。 一方面，这是一个引人入胜的科学领域，有一个美丽的理论，它以惊人的方式连接了两个非常不同的数学分支：概率论和图论。概率建模也与哲学有着有趣的联系，尤其是因果关系问题。 同时，概率建模在机器学习和许多实际应用中得到广泛应用。这些技术可用于解决医学、语言处理、视觉和许多其他领域的问题。 这种优雅的理论与应用相结合，使概率图模型成为现代人工智能和计算机科学中最引人入胜的话题之一。2011 年图灵奖（被认为是计算机科学”“诺贝尔奖”）最近被授予 Judea Pearl 以表彰其在概率图建模领域的创立。 2 概念 但 ...