22 更多变分推断方法
Contents
22 更多变分推断方法¶
22.1 概述¶
在第 21 章中，我们讨论了平均场推断，它通过边缘分布的乘积来逼近后验。这允许我们对每个变量使用不同的参数形式，这在对统计模型的参数（例如高斯或GMM的均值和方差，或GLM的回归权重）执行贝叶斯推断时特别有用，就像我们在讨论变分贝叶斯和变分贝叶斯 EM 时看到的那样。
在这一章中，我们讨论一种稍微不同的变分推断。基本思想仍然是最小化\(J(q)= \mathbb{KL}(q | |\tilde{p})\) 但不要求 \(q\) 可以被因子化。事实上，我们甚至不要求 \(q\) 是全局有效的联合分布。相反，我们只要求 \(q\) 是局部一致的，这意味着两个相邻节点的联合分布与相应的边缘分布一致。
除了这种新推断方法，我们将讨论离散图形模型中的最大后验状态估计近似推断方法。事实证明，解决最大后验问题的算法与计算边缘分布的近似方法非常相似。