6️⃣ 概率图推断--部分可观测马尔可夫随机场及 EM 算法
〖摘要〗 〖原文〗 Standford cs228 notes 〖参考〗CMU 10-708 Slides / CMU 10-708 Lecture Notes / Jordan TextBook, Ch.2(section 2.2 - end) / Koller’s Textbook,Ch.4 / A. Fischer and C. Igel, An Introducton to Restricted Boltzmann Machines / B. A. Cipra, An Introduction to the Ising Model
6️⃣ 概率图推断--部分可观测马尔可夫随机场及 EM 算法
〖摘要〗 〖原文〗 Standford cs228 notes 〖参考〗CMU 10-708 Slides / CMU 10-708 Lecture Notes / Jordan TextBook, Ch.2(section 2.2 - end) / Koller’s Textbook,Ch.4 / A. Fischer and C. Igel, An Introducton to Restricted Boltzmann Machines / B. A. Cipra, An Introduction to the Ising Model
➁ 离散型隐变量：EM 算法
源代码： Notebook Repository 本文是关于隐变量模型的第 1 篇，介绍了期望最大化 (EM) 算法及其在高斯混合模型中的应用。 p{text-indent:2em;2} 1. 概述给定概率模型 $p(\mathbf{x} \lvert \boldsymbol{\theta})$ 和 $N$ 个观测值值 $\mathbf{X} = { \mathbf{x}_1, \ldots, \mathbf{ x}_N }$ 。 我们希望找到一个能够使似然 $p(\mathbf{X} \lvert \boldsymbol{\theta})$ 最大化的参数 $\boldsymbol{\theta}$ 。这也被称为 最大似然估计 (MLE)。 $$\boldsymbol{\theta}_{MLE} = \underset{\boldsymbol{\theta}}{\mathrm{argmax}} \quad p(\mathbf{X} \lvert \boldsymbol{\theta})\tag{1}$$ 如果模型是一个简单概率分布（ 例如单高斯分布 ），则...
➁ 离散型隐变量：EM 算法
源代码: Notebook Repository 本文是关于隐变量模型的第 1 篇，介绍了期望最大化 (EM) 算法及其在高斯混合模型中的应用。 p{text-indent:2em;2} 1. 概述给定概率模型 $p(\mathbf{x} \lvert \boldsymbol{\theta})$ 和 $N$ 个观测值值 $\mathbf{X} = { \mathbf{x}_1, \ldots, \mathbf{ x}_N }$ 。 我们希望找到一个能够使似然 $p(\mathbf{X} \lvert \boldsymbol{\theta})$ 最大化的参数 $\boldsymbol{\theta}$ 。这也被称为 最大似然估计 (MLE)。 $$\boldsymbol{\theta}_{MLE} = \underset{\boldsymbol{\theta}}{\mathrm{argmax}} \quad p(\mathbf{X} \lvert \boldsymbol{\theta})\tag{1}$$ 如果模型是一个简单概率分布（ 例如单高斯分布 ），则...