证据下界（ELBO）的概念解析
在变分贝叶斯方法中， 证据下界 （通常缩写为 ELBO ，有时也称为 变分下界 [1]或 **负变分自由能** ）是一个关于观测数据对数似然的常用下界。 ## 1 术语和符号 设 $X$ 和 $Z$ 为随机变量，其联合分布为 $p_\theta(X,Z)$（简写为 $p_{\theta}$ ），$p_{\theta}(X)$ 是 $X$ 的边缘分布，$p_{\theta}(Z \mid X)$ 是给定 $X$ 时 $Z$ 的条件分布。 对于 $X$ 的任意样本实现 $x \sim p_{\theta}$ 和任何分布 $q_{\phi}$ ，有 $$ \ln p_{\theta}(x) \geq \mathbb {E}_{z \sim q_{\phi }} \left[\ln{\frac{p_{\theta}(x,z)}{q_{\phi}(z)}}\right]. $$ 在变分贝叶斯方法的术语中，**观测变量的分布 $p_{\theta}(X)$ 通常被称为 _证据_ ，其对数形式 $\ln p_{\theta}(X)$ 被称为 _对数证据_**。不过，有时候人们会将两者混用。 ELBO 没有普遍固定的表示法。在本文中我们使用如下形式： $$ L ( \phi , \theta ; x ) := \mathbb{E}_{z\sim q_{\phi}(\cdot |x)}\left[\ln{\frac {p_{\theta }(x,z)}{q_{\phi }(z|x)}}\right]. $$ ## 2 动机 ### （1）变分贝叶斯推断 假设我们有一个可观测的随机变量 $X$ ，我们的目标是希望找到它的真实分布 $p^*$ ，以便能够通过采样生成新数据，并估计未来事件的概率。但一般来说，不可能准确地找到 $p^*$，这迫使我们去寻找一个好的 **近似值** 也就是说，我们定义一个足够大的参数化分布族 $\{ p_{\theta} \},\theta \in \Theta$，然后对某些损失函数 $L$ 求解 $\min \limits_{\theta} L(p_{\theta} ,p^{*})$。 解决此问题的一种可能方法是考虑从 $p_{\theta}$ 到 $p_{\theta + \delta \theta}$ 的微小变化，并求解 $L(p_{\theta} , p^{*}) − L(p_{\theta + \delta \theta}, p^{*}) = 0$，这通常被称为 **变分法**。 由于没有多少显式参数化分布族（所有经典分布族，例如正态分布等，都过于简单化，无法对真实分布进行建模），我们可以考虑通过隐变量来 _隐式参数化_ 概率分布： - 首先，在隐随机变量 $Z$ 上定义一个简单分布 $p(z)$。通常采用正态分布或均匀分布就足够。 - 接下来，定义一组由 $\theta$ 参数化的复杂函数 $f_{\theta}$（例如深度神经网络）。 - 最后，定义一种方法将任意 $f_{\theta}(z)$ 转换为可观测随机变量 $X$ 上的简单分布。例如，设 $f_{\theta}(z)=(f_{1}(z),f_{2}(z))$ 有两个输出，那么我们可以定义 $X$ 上的对应分布为正态分布 $N (f_{1}(z),e^{f_{2}(z)})$ 。 这定义了 $(X,Z)$ 上的联合分布族 $p_{\theta}$ 。从联合分布 $( x , z ) \sim p_{\theta}$ 中采样变得非常容易：只需先对隐变量 $z \sim p$ 采样，然后计算 $f_{\theta}(z)$ ，最后利用 $f_{\theta}(z)$ 从 $x \sim p_{\theta}(\cdot |z)$ 中采样。
换句话说，我们有一个可观测变量和隐变量的 **生成模型**。现在，如果联合分布 $p_{\theta}$ 与真实分布 $p^*$ 非常接近，则我们认为 $p_{\theta}$ 是一个足够好的近似： $$ p_{\theta}(X) \approx p^{*}(X) $$ 注意，我们关注的是可观测变量 $X$ 的边缘分布，因此，公式左侧需要在联合分布 $p_{\theta}(X,Z)$ 基础上边缘化掉隐变量 $Z$。 一般来说，不太可能执行边缘化积分 $p_{\theta}(x)=\int p_{\theta }(x|z)p(z)dz$ ，这迫使我们寻找另一个近似值。 根据概率公式有 $p_{\theta}(x)=\frac{p_{\theta}(x|z)p(z)}{p_{\theta}(z|x)}$ ，也就是说，我们只要找到条件分布 $p_{\theta}(z|x)$ 的一个好的近似值，同样能够得到 $X$ 的边缘分布。因此，可以定义另一个分布族 $q_{\phi}(z|x)$ 并用它来近似 $p_{\theta}(z|x)$ 。这是一个隐变量 $Z$ 的 **判别模型**。 整个情况总结如下表：  在 **贝叶斯** 语言中，上述 $X$ 为可观测变量，$Z$ 是（不可观测的）隐变量，$p(z)$ 是隐变量 $Z$ 的 _先验分布_，$p_{\theta}(x|z)$ 为似然函数，而 $p_{\theta}(z|x)$ 是隐变量 $Z$ 的后验分布。也就是说，给定观测 $x$，我们可以计算 $p_{\theta}(z|x)$ 来推断什么 $z$ 可能会导致 $x$。如果按照贝叶斯定理的话，需要首先计算积分项 $p_{\theta}(x)=\int p_{\theta}(x|z)p(z)dz$ ，然后计算得出 $p_{\theta} (z|x) =\frac {p_{\theta}(x|z)p(z)}{p_{\theta}(x)}$。这显然执行起来代价过于昂贵，但如果可以为大多数 $x$ 找到一个好的近似值 $q_{\phi}(z|x) \approx p_{\theta}(z|x)$ ，我们就可以从 $x$ 廉价地推断出 $z$。这种利用 $q_{\phi}$ 直接对 $x$ 进行计算得到 $z$ 的方式，也被称为 **摊销推断**。 总体而言，我们提出了一个 **变分贝叶斯推断** 的问题。 ### （2） ELBO 的推导 变分推断的一个基本目标是最小化 Kullback–Leibler 散度（KL-散度），这等效于最大化对数似然： $$ \mathbb{E}_{x\sim p^{*}(x)}[\ln p_{\theta }(x)]=-H(p^{*})-D_{\mathit {KL}}(p^{*}(x)\|p_{\theta }(x)) $$ 其中 $H ( p^{*} )=-\mathbb {E} _{x\sim p^{*}}[\ln p^{*}(x)]$ 是真实分布的熵，可以认为是一个常数。所以如果想要最大化 $\mathbb{E}_{x\sim p^{*}(x)}[\ln p_{\theta }(x)]$ ，只需要最小化 $D_{KL} (p^ {*}(x)\|p_{\theta }(x))$ 即可。通过这种最小化来找到近似值 $p_{\theta} \approx p^{*}$ 。 为了最大化 $\mathbb{E}_{x\sim p^{*}(x)}[\ln p_{\theta }(x)]$ ，我们可以简单地采样许多 $x_i \sim p^{*}( x)$ ，即使用重要性采样 $$ N \mathbb {E}_{x \sim p^{*}(x)}[\ln p_{\theta }(x)] \approx \max _{\theta} \sum_{i} \ln p_{\theta }(x_{i}) $$ 为了最大化 $\sum\limits_{i}\ln p_{\theta }(x_{i})$ ，有必要找到 $\ln p_{\theta}(x)$ ： $$ \ln p_{\theta} = \ln \int p_{\theta }(x|z)p(z)dz $$ 这通常没有封闭形式，只能进行估计，常用方法是重要性采样的蒙特卡洛积分： $$ \int p_{\theta}(x|z)p(z)dz = \mathbb {E} _{z\sim q_{\phi }(\cdot |x)}\left[{\frac {p_{\theta }(x,z)}{q_{\phi }(z|x)}}\right] $$ 其中 $q_{\phi} (z|x)$ 是我们用于执行蒙特卡洛积分的 $z$ 上的采样分布。 所以我们看到，如果对 $z \sim q_{\phi}(\cdot |x)$ 进行采样，那么 $\frac{p_{\theta}(x,z)}{q_{\phi}(z|x) }$ 是 $p_{\theta}(x)$ 的无偏估计。不幸的是，这并没有给处 $\ln p_{\theta}(x)$ 的无偏估计，因为 $\ln$ 是非线性的。事实上，根据 Jensen 不等式， $$ \ln p_{\theta}(x)=\ln \mathbb{E} _{z\sim q_{\phi}(\cdot |x)} \left[{\frac {p_{\theta }(x,z)}{q_{\phi }(z|x)}}\right] \geq \mathbb{E}_{z\sim q_{\phi}(\cdot |x)} \left[\ln{\frac {p_{\theta }(x,z)}{q_{\phi }(z|x)}}\right] $$ $\ln p_{\theta}(x)$ 的所有明显估计都向下偏置，因为无论采用多少 $z_i\sim q_{\phi }(\cdot |x)$ 样本，都有 Jensen 不等式： $$ \mathbb{E}_{z_{i} \sim q_{\phi }(\cdot |x)}\left[\ln\left({\frac {1}{N}}\sum _{i}{\frac {p_{\theta }(x,z_{i})}{q_{\phi }(z_{i}|x)}}\right)\right] \leq \ln \mathbb {E} _{z_{i}\sim q_{\phi }(\cdot |x)}\left[{\frac {1}{N}}\sum _{i}{\frac {p_{\theta }(x,z_{i})}{q_{\phi }(z_{i}|x)}}\right] = \ln p_{\theta }(x) $$ 减去右边，我们看到问题归结为零偏差估计： $$ \mathbb{E}_{z_{i}\sim q_{\phi }(\cdot |x)}\left[\ln\left({\frac {1}{N}}\sum _{i}{\frac {p_{\theta }(z_{i}|x)}{q_{\phi }(z_{i}|x)}}\right)\right]\leq 0 $$ 通过 delta 方法，我们有 $$ \mathbb{E}_{z_{i}\sim q_{\phi }(\cdot |x)}\left[\ln\left({\frac {1}{N}}\sum _{i}{\frac {p_{\theta }(z_{i}|x)}{q_{\phi }(z_{i}|x)}}\right)\right]\approx -{\frac {1}{2N}}\mathbb {V} _{z\sim q_{\phi }(\cdot |x)}\left[{\frac {p_{\theta }(z|x)}{q_{\phi }(z|x)}}\right]=O(N^{-1}) $$ 如果继续这样做，我们将获得重要性加权的自编码器 [2]。但是我们回到 $N = 1$ 的最简单情况： $$ \ln p_{\theta}(x)=\ln\mathbb {E} _{z\sim q_{\phi }(\cdot |x)}\left[{\frac {p_{\theta }(x,z)}{q_{\phi }(z|x)}}\right]\geq \mathbb {E} _{z\sim q_{\phi }(\cdot |x)}\left[\ln{\frac {p_{\theta }(x,z)}{q_{\phi }(z|x)}}\right] $$ 不等式的散度有一个封闭形式： $$ \ln p_{\theta} (x)-\mathbb {E} _{z\sim q_{\phi }(\cdot |x)}\left[\ln{\frac {p_{\theta }(x,z)}{q_{\phi }(z|x)}}\right]=D_{\mathit {KL}}(q_{\phi }(\cdot |x)\|p_{\theta }(\cdot |x))\geq 0 $$ 这样就得到了 ELBO 函数： $$ L ( \phi , \theta ; x ) := \ln p_{\theta}(x)-D_{\mathit {KL}}(q_{\phi }(\cdot |x)\|p_{\theta }(\cdot |x)) $$ ### （3）最大化 ELBO 对于固定的 $x$ ，优化 $\max_{\theta, \phi} L(\phi ,\theta ;x)$ 同时尝试最大化 $\ln p_{\theta}(x)$ 并最小化 $D_{ KL} (q_{\phi }(\cdot |x)\|p_{\theta }(\cdot |x))$。如果 $p_{\theta}$ 和 $q_{\phi}$ 的参数化足够灵活，我们将获得一些 $\hat{\phi}$, $\hat{\theta}$，这样我们同时拥有 $$ \begin{align} &\ln p_{\hat{ \theta}}(x)\approx \max _{\theta }\ln p_{\theta }(x);\\ &q_{\hat {\phi }}(\cdot |x)\approx p_{\hat {\theta }}(\cdot |x) \end{align} $$ 因为 $$ \mathbb{E}_{x\sim p^{*}(x)}[\ln p_{\theta }(x)]=-H(p^{*})-D_{\mathit {KL}}(p^{*}(x)\|p_{\theta }(x)) $$ 所以有 $$ \ln p_{\hat{ \theta}} (x)\approx \max _{\theta }-H(p^{*})-D_{\mathit {KL}}(p^{*}(x)\|p_{\theta }(x)) $$ 进而 $$ \hat{\theta} \approx \arg \min_{\theta} D_{\mathit {KL}}(p^{*}(x)\|p_{\theta }(x)) $$ 换句话说，最大化 ELBO 将同时允许我们获得一个准确的生成式模型 $p_{\hat{ \theta}} \approx p^{*}$ 和一个准确的判别式模型 $q_{\hat{ \phi}} (\cdot |x)\approx p_{\hat {\theta }}(\cdot |x)$ 。 ## 3 主要形式 ELBO 有许多可能的表达方式，每个表达方式都有不同的侧重点。 $$ \mathbb{E}_{z\sim q_{\phi }(\cdot |x)}\left[\ln{\frac {p_{\theta }(x,z)}{q_{\phi }(z|x)}}\right]=\int q_{\phi }(z|x)\ln{\frac {p_{\theta }(x,z)}{q_{\phi }(z|x)}}dz $$ 这种形式表明，如果我们对 $z \sim q_{\phi} (\cdot |x)$ 进行采样，则 $\ln \frac{p_{\theta}(x,z)}{q_{\phi}(z|x)}$ 是 ELBO 的无偏估计量。 $$ \ln p_{\theta}(x)-D_{\mathit {KL}}(q_{\phi }(\cdot |x)\;\|\;p_{\theta }(\cdot |x)) $$ 这种形式表明 ELBO 是证据 $\ln p_{\theta}(x)$ 的下界，并且关于 $\phi$ 最大化 ELBO 等同于最小化 KL 散度 $p_{\theta}(\cdot|x)$ 到 $q_{\phi}(\cdot |x)$ 。 $$ \mathbb{E}_{z\sim q_{\phi }(\cdot |x)}[\ln p_{\theta }(x|z)]-D_{\mathit {KL}}(q_{\phi }(\cdot |x)\;\|\;p) $$ 这种形式表明，最大化 ELBO 同时尝试使 $q_{\phi} (\cdot |x)$ 接近 $p$ 并将 $q_{\phi}(\cdot |x)$ 集中在那些最大化 的 $z$ 上 $\ln p_{\theta}(x|z)$ 。也就是说，近似后验 $q_{\phi}(\cdot |x)$ 在保持接近先验 $p$ 和向最大似然 $\arg \max_z \ln p_{\theta }(x|z)$ 移动之间取得平衡。 $$ H ( q_{\phi}(\cdot |x))+\mathbb {E} _{z\sim q(\cdot |x)}[\ln p_{\theta }(z|x)]+\ln p_{\theta }(x) $$ 这种形式表明，最大化 ELBO 同时尝试保持 $q_{phi}(\cdot |x)$ 的熵较高，并将 $q_{phi}(\cdot |x)$ 集中在那些最大化的 $z$ 上 $\ln p_{\theta}(z|x)$ 。也就是说，近似后验 $q_{\phi}(\cdot |x)$ 在均匀分布和向最大后验 $\arg \max_z \ln p_{\theta }(z|x)$ 移动之间取得平衡。 ### 数据处理不等式 假设我们从 $p^*$ 中抽取 $N$ 个独立样本，并将它们收集在数据集 $D = \{ x_1,...,x_{N}\}$ 中，那么我们有经验分布 $q_D(x) ={\frac {1}{N}}\sum_{i}\delta _{x_{i}}$ 。 我们可以通过最大化对数似然 $\ln p_{\theta}(D)$ 来将 $p_{\theta}(x)$ 拟合到 $q_D(x)$， 来完成： $$ D_{KL}(q_{D}(x)\|p_{\theta }(x))=-{\frac {1}{N}}\sum _{i}\ln p_{\theta }(x_{i})-H(q_{D})=-{\frac {1}{N}}\ln p_{\theta }(D)+H(q_{D}) $$ 现在，根据 ELBO 不等式，我们可以为 $\ln p_{\theta} (D)$ 设置下界，因此有 $$ D_{KL}(q_{D}(x)\|p_{\theta }(x))\leq -{\frac {1}{N}}L(\phi ,\theta ;D)-H(q_{D}) $$ 右侧简化为 KL 散度，因此我们得到： $$ D_{\mathit{KL}}(q_D(x) \| p_{\theta}(x)) \leq - \frac{1}{N} \sum_{i} L(\phi,\theta;x_{i}) - H(q_D) = D_{\mathit{KL}}(q_{D,\phi}(x,z);p_{\theta}(x,z)) $$ 这个结果可以被解释为 _数据处理不等式_ 的一个特例。在这种解释中，最大化 $L(\phi,\theta;D) = \sum\limits_{i} L(\phi ,\theta ;x_{i})$ 就是最小化 $D_{KL} (q_{D, \phi }(x,z);p_{\theta }(x,z))$ ，根据数据处理不等式，它是实际感兴趣量 $D_{KL} (q_{D}(x);p_{\theta}(x))$ 的上限。也就是说，为了更有效地最小化 KL 散度，我们将一个隐空间附加到可观测空间，并付出了较弱的不等式代价 [3]。 ## References- [1] Kingma, Diederik P.; Welling, Max (2014-05-01). "Auto-Encoding Variational Bayes". arXiv:1312.6114.
- [2] Burda, Yuri; Grosse, Roger; Salakhutdinov, Ruslan (2015-09-01). "Importance Weighted Autoencoders".
- [3] Kingma, Diederik P.; Welling, Max (2019-11-27). "An Introduction to Variational Autoencoders". Foundations and Trends in Machine Learning. 12 (4). Section 2.7. arXiv:1906.02691. doi:10.1561/2200000056. ISSN 1935-8237.
本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 西山晴雪的知识笔记！
相关推荐
2021-03-12
随机变分推断
【摘 要】 随机变分推断是一种用于近似后验分布的可扩展算法。我们为一般性的概率模型开发了该技术，并且用两个概率主题模型（潜狄利克雷分配和分层狄利克雷过程主题模型）来证明了它的可用性。我们使用随机变分推断分析了几个大型文档集合：来自 Nature 的 30 万篇文章、来自《纽约时报》的 180 万篇文章和来自维基百科的 380 万篇文章。结果表明：随机变分推断可以轻松处理如此大规模的数据集，并且优于只能处理较小数据集的传统变分推断。我们还表明贝叶斯非参数主题模型的表现要优于参数模型。 【原 文】 Hoffman, M., Blei, D. M., Wang, C., & Paisley, J. (2013). Stochastic Variational Inference. arXiv: http://arxiv.org/abs/1206.7051 1 问题提出现代数据分析需要使用海量数据进行计算。想象下如下案例: (1) 我们拥有 200...
2022-02-10
近似推断--平均场近似
〖摘要〗 〖原文〗 Standford cs228 notes 〖参考〗CMU 10-708 Slides / CMU 10-708 Lecture Notes / Jordan TextBook, Ch.2(section 2.2 - end) / Koller’s Textbook,Ch.4 / A. Fischer and C. Igel, An Introducton to Restricted Boltzmann Machines / B. A. Cipra, An Introduction to the Ising Model
2021-11-04
重要性加权变分推断方法
【摘要】最近有工作使用重要性采样的思路，来确定更紧致的变分似然边界。本文阐明了该想法对纯概率推断的适用性，展示了重要性加权变分推断技术作为一种增强的变分推断方法，能够识别先前工作中的松散性。实验证实了重要性加权变分推断在概率推断方面的实用性。作为另一个成果，本文研究了使用椭圆分布的推断方法，该方法提高了低维准确性和高维收敛性。 【原文】 J Domke and D Sheldon (2018), Importance weighting and variational inference. In Advances in Neural Information Processing Systems. https://arxiv.org/abs/1808.09034 1 问题提出概率建模通过为不可观测的变量 $\mathbf{z}$ 和可观测变量 $\mathbf{x}$ 制定联合模型 $p(\mathbf{z}, \mathbf{x})$ 来推断世界，然后查询后验分布 $p(\mathbf{z} \mid \mathbf{x})$ 以了解给定证据 $\mathbf{x}$...
2023-01-01
🔥 深度核学习(DKL)
【摘 要】 我们引入了可扩展的深度核，它结合了深度学习架构的结构特性和核方法的非参数灵活性。具体来说，我们使用局部核插值、归纳点和结构利用（Kronecker 和 Toeplitz）代数来转换具有深度架构的谱混合基核的输入，以获得可扩展的核表示。这些封闭形式的核可以用作标准核的直接替代品，具有表达能力和可扩展性方面的优势。我们通过高斯过程的边缘似然共同学习这些核的属性。 $n$ 个训练点的推断和学习成本为 $\mathcal{O}(n)$，每个测试点的预测成本为 $\mathcal{O}(1)$。在大量多样的应用程序集合中，包括具有 $200$ 万个样本的数据集，我们展示了具有灵活核学习模型和独立深度架构的可扩展高斯过程的改进性能。 【原 文】 Wilson, A.G. 等 (2015) ‘Deep Kernel Learning’. arXiv. Available at: http://arxiv.org/abs/1511.02222 (Accessed: 31 December 2022). 1 简介MacKay (1998) [15]曾质疑...
2021-03-11
平均场（MeanField ）变分推断
暂空缺。 #refplus, #refplus li{ padding:0; margin:0; list-style:none; }； document.querySelectorAll(".refplus-num").forEach((ref) => { let refid = ref.firstChild.href.replace(location.origin+location.pathname,''); let refel = document.querySelector(refid); let refnum = refel.dataset.num; let ref_content = refel.innerText.replace(`[${refnum}]`,''); tippy(ref, { content:...
2021-03-14
黑盒变分推断
【摘要】 变分推断已经成为一种广泛使用的方法，用于近似隐变量的复杂后验分布。 然而，传统方法推导出一个变分推断算法需要进行大量的特定模型分析。 这可能会阻碍我们快速开发和探索解决问题的模型。 本文中提出了一种黑盒变分推断算法，该算法可以快速应用于许多模型，几乎不需要额外的推导。我们采用的方法是基于变分目标做随机优化，其中噪声梯度由变分分布的蒙特卡洛样本计算得出，进而避免了对梯度解析形式的推导。考虑到随机优化存在方差变大的问题， 我们同时开发了一些减少梯度方差的方法，并始终保持了避免推导的简易性。 我们将本方法与相应的黑盒采样方法进行对比评估，发现本方法相比于采样方法，能更快达到较好的预测似然。 最后，通过快速构建和评估医疗数据中的几个模型，我们证明了黑盒变分推断法可以轻松探索更为广阔的模型空间。 【原文】Ranganath, R., Gerrish, S., and Blei, D. M. (2014). Black box variational inference. In Artificial Intelligence and Statistics, Vol...