隐变量模型

〖摘要〗隐变量模型是将一组可观察变量与一组隐变量建立关联的统计模型。本文对隐变量模型进行了概述：首先介绍了通用模型并讨论了各种推断方法；之后，介绍了几种比较常用的情况，包括：『隐类别模型　Latent Class Model　』 （也称『混合物模型　Mixture Model　』）、『混合模型（Mixed Model）』等；我们将这些模型应用于具有简单结构的相同数据集，并进行了结果比较和优缺点讨论；此外，本文还说明了包括『潜在结构模型』在内的若干问题；最后，我们讨论了模型扩展和应用，强调了在应用隐变量模型时经常被忽视的几个问题。〖原文〗Modeling Through Latent Variables, Annual Review of Statistics and Its Application〖作者〗Geert Verbeke， Geert Molenberghs，比利时鲁汶天主教大学，〖时间〗2017〖DOI〗10.1146/annurev-statistics-060116-054017 p{text-indent:2em} 1....

混合模型 (Mixed Model) Sources: Notebook Repository p{text-indent:2em;2} 第 1 部分 本系列文章介绍了具有离散隐变量的隐变量模型、高斯混合模型 (GMM) 和拟合算法这个模型要数据，EM 算法。第 2 部分介绍了具有连续隐变量的隐变量模型，用于对更复杂的数据（例如自然图像）进行建模，以及可与随机优化算法结合使用的贝叶斯推理技术。 Consider a natural image of size $100 \times 100$ with a single channel. This image is a point in $10.000$-dimensional space. Natural images are usually not uniformly distributed in this space but reside on a much lower-dimensional manifold within this high-dimensional space. The lower...

连续型隐变量模型与变分自编码器 Sources: Notebook Repository p{text-indent:2em;2} 第 1 部分 本系列文章介绍了具有离散隐变量的隐变量模型、高斯混合模型 (GMM) 和拟合算法这个模型要数据，EM 算法。第 2 部分介绍了具有连续隐变量的隐变量模型，用于对更复杂的数据（例如自然图像）进行建模，以及可与随机优化算法结合使用的贝叶斯推理技术。 Consider a natural image of size $100 \times 100$ with a single channel. This image is a point in $10.000$-dimensional space. Natural images are usually not uniformly distributed in this space but reside on a much lower-dimensional manifold within this high-dimensional space. The lower...

源代码： Notebook Repository 本文是关于隐变量模型的第 1 篇，介绍了期望最大化 (EM) 算法及其在高斯混合模型中的应用。 p{text-indent:2em;2} 1. 概述给定概率模型 $p(\mathbf{x} \lvert \boldsymbol{\theta})$ 和 $N$ 个观测值值 $\mathbf{X} = { \mathbf{x}_1, \ldots, \mathbf{ x}_N }$ 。 我们希望找到一个能够使似然 $p(\mathbf{X} \lvert \boldsymbol{\theta})$ 最大化的参数 $\boldsymbol{\theta}$ 。这也被称为 最大似然估计 (MLE)。 $$\boldsymbol{\theta}_{MLE} = \underset{\boldsymbol{\theta}}{\mathrm{argmax}} \quad p(\mathbf{X} \lvert \boldsymbol{\theta})\tag{1}$$ 如果模型是一个简单概率分布（ 例如单高斯分布 ），则...

源代码: Notebook Repository 本文是关于隐变量模型的第 1 篇，介绍了期望最大化 (EM) 算法及其在高斯混合模型中的应用。 p{text-indent:2em;2} 1. 概述给定概率模型 $p(\mathbf{x} \lvert \boldsymbol{\theta})$ 和 $N$ 个观测值值 $\mathbf{X} = { \mathbf{x}_1, \ldots, \mathbf{ x}_N }$ 。 我们希望找到一个能够使似然 $p(\mathbf{X} \lvert \boldsymbol{\theta})$ 最大化的参数 $\boldsymbol{\theta}$ 。这也被称为 最大似然估计 (MLE)。 $$\boldsymbol{\theta}_{MLE} = \underset{\boldsymbol{\theta}}{\mathrm{argmax}} \quad p(\mathbf{X} \lvert \boldsymbol{\theta})\tag{1}$$ 如果模型是一个简单概率分布（ 例如单高斯分布 ），则...

隐变量模型初探【摘要】隐变量模型常用于揭示计量或统计数据中的一些无法被直接观测到的规律或现象。例如：揭示不同原因导致的异质性、解释可观测变量中的误差构成等。 【作者】Francesco Bartolucci，意大利佩鲁贾大学 【原文】http://www.econ.upf.edu/~michael/latentvariables/ p{text-indent:2em;2} 0 引言在本部分中，我们专注于能够创建高维数据的可解释表示的模型：隐变量模型。 问题提出隐变量模型假设观测到的数据 $\boldsymbol{x}$ 是由某些底层的潜在因素 $\boldsymbol{z}$ （通常是低维的）导致，并且通常 $\boldsymbol{z}$ 代表了世界的某种 “真实” 状态。至关重要的是，这些潜在因素被认为对模型的最终用户有意义 （也就是说，评估此类模型需要领域专业知识）。我们的目的是通过对可观测数据 $\boldsymbol{x}$ 的处理，得到潜在因素 $\boldsymbol{z}$ 的底层作用机理，...