能量模型

【摘要】 【原文】 Murphy, Kevin P. Chapter 24 of Probabilistic Machine Learning: Advanced Topics. MIT Press, 2023. probml.ai. 【参考】 https://github.com/yataobian/awesome-ebm 1 概述变分自编码器、自回归模型和归一化流等深度生成模型，都可以用有向图模型来表述，在这些模型中，使用局部归一化的分布一步一步生成数据。但在某些情况下，根据有效样本必须满足的一组约束来指定分布，可能比定义数据生成过程更容易。这可以使用无向图形模型来完成。 基于能量的模型（ Eneragy-based Models, EBM ）可以被写成 Gibbs 分布，如下所示： $$p_{\boldsymbol{\theta}}(\mathbf{x}) = \frac{\exp(- \mathcal{E}{\boldsymbol{\theta}}(\mathbf{x}))}{Z{\boldsymbol{\theta}}}$$ 其中...