概率图学习索引帖
本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 西山晴雪的知识笔记！
相关推荐
2021-11-05
➁ 离散型隐变量：EM 算法
源代码： Notebook Repository 本文是关于隐变量模型的第 1 篇，介绍了期望最大化 (EM) 算法及其在高斯混合模型中的应用。 p{text-indent:2em;2} 1. 概述给定概率模型 $p(\mathbf{x} \lvert \boldsymbol{\theta})$ 和 $N$ 个观测值值 $\mathbf{X} = { \mathbf{x}_1, \ldots, \mathbf{ x}_N }$ 。 我们希望找到一个能够使似然 $p(\mathbf{X} \lvert \boldsymbol{\theta})$ 最大化的参数 $\boldsymbol{\theta}$ 。这也被称为 最大似然估计 (MLE)。 $$\boldsymbol{\theta}_{MLE} = \underset{\boldsymbol{\theta}}{\mathrm{argmax}} \quad p(\mathbf{X} \lvert \boldsymbol{\theta})\tag{1}$$ 如果模型是一个简单概率分布（ 例如单高斯分布 ），则...
2023-01-03
隐因子模型索引帖
#refplus, #refplus li{ padding:0; margin:0; list-style:none; }； document.querySelectorAll(".refplus-num").forEach((ref) => { let refid = ref.firstChild.href.replace(location.origin+location.pathname,''); let refel = document.querySelector(refid); let refnum = refel.dataset.num; let ref_content = refel.innerText.replace(`[${refnum}]`,''); tippy(ref, { content: ref_content, ...
2021-11-02
➀ 隐变量模型概览
隐变量模型初探【摘要】隐变量模型常用于揭示计量或统计数据中的一些无法被直接观测到的规律或现象。例如：揭示不同原因导致的异质性、解释可观测变量中的误差构成等。 【作者】Francesco Bartolucci，意大利佩鲁贾大学 【原文】http://www.econ.upf.edu/~michael/latentvariables/ p{text-indent:2em;2} 0 引言在本部分中，我们专注于能够创建高维数据的可解释表示的模型：隐变量模型。 问题提出隐变量模型假设观测到的数据 $\boldsymbol{x}$ 是由某些底层的潜在因素 $\boldsymbol{z}$ （通常是低维的）导致，并且通常 $\boldsymbol{z}$ 代表了世界的某种 “真实” 状态。至关重要的是，这些潜在因素被认为对模型的最终用户有意义 （也就是说，评估此类模型需要领域专业知识）。我们的目的是通过对可观测数据 $\boldsymbol{x}$ 的处理，得到潜在因素 $\boldsymbol{z}$ 的底层作用机理，...
2022-09-23
发现模型概览
发现模型概览〖摘要〗 在很多模型假设中存在各种形式的隐变量和隐结构，其目的是使高维数据能够得到足够地解释，以便发现或挖掘隐藏在可观测数据深层的知识或信息。我们将此类模型称为 发现模型 或者 广义隐变量模型。本文是此类模型的一个总揽，大部分内容摘自 Murphy 的《机器学习：高级主题》的第 27 章。 问题提出发现模型假设我们能够观测到的数据 $\boldsymbol{x}$ 是由某些底层的潜在因素 $\boldsymbol{z}$ （ 通常是低维的 ）导致，并且通常 $\boldsymbol{z}$ 代表了世界的某种 “真实” 状态。至关重要的是，这些潜在因素通常被认为对模型的最终用户有意义 （ 也就是说，评估此类模型需要领域专业知识，具有可解释性 ）。 我们的目的是通过对可观测数据 $\boldsymbol{x}$ 的处理，得到潜在因素 $\boldsymbol{z}$ 的底层作用机理， 进而能够给可观测数据的生成作出一个合理的解释。 这种反向建模方法广泛用于科学和工程中，其中 $\boldsymbol{z}$ 代表了自然界中待估计的潜在状态，而...
2023-01-03
表示学习索引帖
2022-11-04
表示学习概览
【摘 要】 表示学习是一种训练机器学习模型的特殊类型，它学着将原始的输入数据变换为对实现未来任务更有用的新形式。近年关于表示学习的研风头日胜，因为在很多实际工作中，增加预训练以学习有用的表示，确实提升了很多下游任务的性能。本文主要对表示学习的门类和方法做一概述，文章内容主要来自 Murphy 的《Machine Learning: Advanced Topics》第 32 章。 【参 考】 Murphy, 《Machine Learning: Advanced Topics》ch. 20 【思维导图】 1...