西山晴雪的知识笔记

〖摘要〗 〖原文〗 Standford cs228 notes 〖参考〗CMU 10-708 Slides / CMU 10-708 Lecture Notes / Jordan TextBook, Ch.2(section 2.2 - end) / Koller’s Textbook,Ch.4 / A. Fischer and C. Igel, An Introducton to Restricted Boltzmann Machines / B. A. Cipra, An Introduction to the Ising Model

〖摘要〗 〖原文〗 Standford cs228 notes 〖参考〗CMU 10-708 Slides / CMU 10-708 Lecture Notes / Jordan TextBook, Ch.2(section 2.2 - end) / Koller’s Textbook,Ch.4 / A. Fischer and C. Igel, An Introducton to Restricted Boltzmann Machines / B. A. Cipra, An Introduction to the Ising Model

开始使用 Pyro 【摘要】Pyro 是 Uber 公司开源的一种概率建模语言，由剑桥大学 zoubin 教授作为首席科学家主持开发，可以使用 Pytorch 深度学习框架、贝叶斯概率统计等技术来估计类型广泛的概率模型。 【原文】https://nbviewer.org/github/QuantEcon/QuantEcon.notebooks/blob/master/IntroToStan_basics_workflow.ipynb 【时间】 2016 【作者】Jim Savage, Lendable Inc. p{text-indent:2em} 1 开始使用 Pyro 1.1 零基础的用户 如果您不熟悉概率编程或变分推断，可以从阅读 系列介绍性教程 开始。如果您是 PyTorch 的新手，还可以从阅读 使用 PyTorch 进行深度学习 中受益。 之后，您就可以开始使用 Pyro 了！ 按照首页的说明安装 Pyro 并仔细阅读 Practical Pyro 和 PyTorch 系列 教程，尤其是第一个贝叶斯回归教程 。该教程通过使用 Pyro 一步步解决一个简单的贝叶斯 ...

【002】Pyro 模型简介 【摘要】Pyro 是 Uber 公司开源的一种概率建模语言，由剑桥大学 zoubin 教授作为首席科学家主持开发，可以使用 Pytorch 深度学习框架、贝叶斯概率统计等技术来估计类型广泛的概率模型。 【原文】https://nbviewer.org/github/QuantEcon/QuantEcon.notebooks/blob/master/IntroToStan_basics_workflow.ipynb 【时间】 2016 【作者】Jim Savage, Lendable Inc. p{text-indent:2em} 1 开始使用 Pyro 1.1 零基础的用户 如果您不熟悉概率编程或变分推断，可以从阅读 系列介绍性教程 开始。如果您是 PyTorch 的新手，还可以从阅读 使用 PyTorch 进行深度学习 中受益。 之后，您就可以开始使用 Pyro 了！ 按照首页的说明安装 Pyro 并仔细阅读 Practical Pyro 和 PyTorch 系列 教程，尤其是第一个贝叶斯回归教程 。该教程通过使用 Pyro 一步步解决一个简 ...

Stan 概率编程语言 【摘要】Stan 是一种灵活的概率建模语言，可以使用贝叶斯技术直接估计多种类型的概率模型。 【原文】https://nbviewer.org/github/QuantEcon/QuantEcon.notebooks/blob/master/IntroToStan_basics_workflow.ipynb 【时间】 2016 【作者】Jim Savage, Lendable Inc. p{text-indent:2em} 1 概述 1.1 简介 Stan 是一种灵活的建模语言，可以直接使用贝叶斯技术来估计非常广泛的概率模型。有几个原因，使人们可能想花些时间来学习 Stan ： Stan 使用 Hamilton Monte Carlo、Variational Inference 和 Penalised Maximum Likelihood 实现了对大数据集概率模型的有效估计。 Stan 可以从用户可能用于数据准备的许多环境中调用，包括 R、Python、Stata、Julia 和 Matlab。 Stan 允许用户通过将 Stan 函数（已 ...

〖摘要〗 〖原文〗 Standford cs228 notes 〖参考〗CMU 10-708 Slides / CMU 10-708 Lecture Notes / Jordan TextBook, Ch.2(section 2.2 - end) / Koller’s Textbook,Ch.4 / A. Fischer and C. Igel, An Introducton to Restricted Boltzmann Machines / B. A. Cipra, An Introduction to the Ising Model

〖摘要〗隐变量模型是将一组可观察变量与一组隐变量建立关联的统计模型。本文对隐变量模型进行了概述：首先介绍了通用模型并讨论了各种推断方法；之后，介绍了几种比较常用的情况，包括：『隐类别模型　Latent Class Model　』 （也称『混合物模型　Mixture Model　』）、『混合模型（Mixed Model）』等；我们将这些模型应用于具有简单结构的相同数据集，并进行了结果比较和优缺点讨论；此外，本文还说明了包括『潜在结构模型』在内的若干问题；最后，我们讨论了模型扩展和应用，强调了在应用隐变量模型时经常被忽视的几个问题。 〖原文〗Modeling Through Latent Variables, Annual Review of Statistics and Its Application 〖作者〗Geert Verbeke， Geert Molenberghs，比利时鲁汶天主教大学， 〖时间〗2017 〖DOI〗10.1146/annurev-statistics-060116-054017 p{text-indent:2em} 1. 概述 目前在统计实践中使用 ...

混合模型 (Mixed Model) Sources: Notebook Repository p{text-indent:2em;2} 第 1 部分 本系列文章介绍了具有离散隐变量的隐变量模型、高斯混合模型 (GMM) 和拟合算法这个模型要数据，EM 算法。第 2 部分介绍了具有连续隐变量的隐变量模型，用于对更复杂的数据（例如自然图像）进行建模，以及可与随机优化算法结合使用的贝叶斯推理技术。 Consider a natural image of size 100×100100 \times 100100×100 with a single channel. This image is a point in 10.00010.00010.000-dimensional space. Natural images are usually not uniformly distributed in this space but reside on a much lower-dimensional manifold within this high-dimensional ...

连续型隐变量模型与变分自编码器 Sources: Notebook Repository p{text-indent:2em;2} 第 1 部分 本系列文章介绍了具有离散隐变量的隐变量模型、高斯混合模型 (GMM) 和拟合算法这个模型要数据，EM 算法。第 2 部分介绍了具有连续隐变量的隐变量模型，用于对更复杂的数据（例如自然图像）进行建模，以及可与随机优化算法结合使用的贝叶斯推理技术。 Consider a natural image of size 100×100100 \times 100100×100 with a single channel. This image is a point in 10.00010.00010.000-dimensional space. Natural images are usually not uniformly distributed in this space but reside on a much lower-dimensional manifold within this high-dimensional spa ...

源代码： Notebook Repository 本文是关于隐变量模型的第 1 篇，介绍了期望最大化 (EM) 算法及其在高斯混合模型中的应用。 p{text-indent:2em;2} 1. 概述 给定概率模型 p(x∣θ)p(\mathbf{x} \lvert \boldsymbol{\theta})p(x∣θ) 和 NNN 个观测值值 X={x1,…,xN}\mathbf{X} = \{ \mathbf{x}_1, \ldots, \mathbf{ x}_N \}X={x1​,…,xN​} 。 我们希望找到一个能够使似然 p(X∣θ)p(\mathbf{X} \lvert \boldsymbol{\theta})p(X∣θ) 最大化的参数 θ\boldsymbol{\theta}θ 。这也被称为 最大似然估计 (MLE)。 θMLE=argmaxθp(X∣θ)(1)\boldsymbol{\theta}_{MLE} = \underset{\boldsymbol{\theta}}{\mathrm{argmax}} \quad p(\mathbf{X} \lver ...