可解释性学习索引帖
本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 西山晴雪的知识笔记！
相关推荐
2021-11-05
➁ 离散型隐变量：EM 算法
源代码： Notebook Repository 本文是关于隐变量模型的第 1 篇，介绍了期望最大化 (EM) 算法及其在高斯混合模型中的应用。 p{text-indent:2em;2} 1. 概述给定概率模型 $p(\mathbf{x} \lvert \boldsymbol{\theta})$ 和 $N$ 个观测值值 $\mathbf{X} = { \mathbf{x}_1, \ldots, \mathbf{ x}_N }$ 。 我们希望找到一个能够使似然 $p(\mathbf{X} \lvert \boldsymbol{\theta})$ 最大化的参数 $\boldsymbol{\theta}$ 。这也被称为 最大似然估计 (MLE)。 $$\boldsymbol{\theta}_{MLE} = \underset{\boldsymbol{\theta}}{\mathrm{argmax}} \quad p(\mathbf{X} \lvert \boldsymbol{\theta})\tag{1}$$ 如果模型是一个简单概率分布（ 例如单高斯分布 ），则...
2023-03-17
深度学习理论的基本原则_第2章_神经网络
第 2 章 神经网络本章将转向深度学习的介绍性概述。 在 第 2.1 节 中，我们介绍了 神经元、激活、偏置、权重 和 层 等神经网络架构的基本组件，并定义了多层感知器（MLP），这是由基本组件迭代组成的一种简单模型。鉴于所有深度网络在概念上都是由许多结构相同的层迭代组成，因此可以将 MLP 视为一种原型网络架构，用于在整本书中说明深度学习的原理。这类神经网络模型足够丰富，可以捕捉深度学习理论的所有基本要素，同时又足够简单，可以保持本书的教学重点。尽管如此，我们还是会简要讨论其他网络架构的有效理论。 在 第 2.2 节 中，我们列出了一些在实践中经常使用的常见激活函数。 在 第 2.3 节 中，我们将讨论如何初始化 MLP。我们在这里进行了一个关键的概念转变，从 将权重和偏差视为随机变量，转向考虑 在神经活动和网络输出上引入的分布。当我们开始为具有一般激活函数的 MLP 开发有效理论时，我们在此处推导的表达式将为 第 4 章 中的分析提供一个自然的起点。 2.1 函数近似人工神经网络...
2023-01-03
隐因子模型索引帖
#refplus, #refplus li{ padding:0; margin:0; list-style:none; }； document.querySelectorAll(".refplus-num").forEach((ref) => { let refid = ref.firstChild.href.replace(location.origin+location.pathname,''); let refel = document.querySelector(refid); let refnum = refel.dataset.num; let ref_content = refel.innerText.replace(`[${refnum}]`,''); tippy(ref, { content: ref_content, ...
2021-11-02
➀ 隐变量模型概览
隐变量模型初探【摘要】隐变量模型常用于揭示计量或统计数据中的一些无法被直接观测到的规律或现象。例如：揭示不同原因导致的异质性、解释可观测变量中的误差构成等。 【作者】Francesco Bartolucci，意大利佩鲁贾大学 【原文】http://www.econ.upf.edu/~michael/latentvariables/ p{text-indent:2em;2} 0 引言在本部分中，我们专注于能够创建高维数据的可解释表示的模型：隐变量模型。 问题提出隐变量模型假设观测到的数据 $\boldsymbol{x}$ 是由某些底层的潜在因素 $\boldsymbol{z}$ （通常是低维的）导致，并且通常 $\boldsymbol{z}$ 代表了世界的某种 “真实” 状态。至关重要的是，这些潜在因素被认为对模型的最终用户有意义 （也就是说，评估此类模型需要领域专业知识）。我们的目的是通过对可观测数据 $\boldsymbol{x}$ 的处理，得到潜在因素 $\boldsymbol{z}$ 的底层作用机理，...
2021-11-07
➂ 连续型隐变量：混合模型
混合模型 (Mixed Model) Sources: Notebook Repository p{text-indent:2em;2} 第 1 部分 本系列文章介绍了具有离散隐变量的隐变量模型、高斯混合模型 (GMM) 和拟合算法这个模型要数据，EM 算法。第 2 部分介绍了具有连续隐变量的隐变量模型，用于对更复杂的数据（例如自然图像）进行建模，以及可与随机优化算法结合使用的贝叶斯推理技术。 Consider a natural image of size $100 \times 100$ with a single channel. This image is a point in $10.000$-dimensional space. Natural images are usually not uniformly distributed in this space but reside on a much lower-dimensional manifold within this high-dimensional space. The lower...
2023-01-03
状态空间模型索引帖
#refplus, #refplus li{ padding:0; margin:0; list-style:none; }； document.querySelectorAll(".refplus-num").forEach((ref) => { let refid = ref.firstChild.href.replace(location.origin+location.pathname,''); let refel = document.querySelector(refid); let refnum = refel.dataset.num; let ref_content = refel.innerText.replace(`[${refnum}]`,''); tippy(ref, { content: ref_content, ...