【摘 要】 学习归纳变量的变分框架 (Titsias, 2009a) 对高斯过程文献产生了很大影响。该框架可以解释为最小化近似过程和后验过程之间严格定义的 Kullback-Leibler 散度。据我们所知,迄今为止,这种联系在文献中并未被提及。在本文中,我们对有关该主题的文献进行了实质性的概括。我们给出了无限索引集结果的新证明,它允许归纳不是数据点的点和依赖于所有函数值的可能性。然后,我们讨论了扩充索引集,并表明,与以前的工作相反,扩充的边缘一致性不足以保证变分推断与原始模型的一致性。然后,我们描述了可以获得这种保证的额外条件。最后,我们展示了我们的框架如何阐明域间稀疏近似和 Cox 过程的稀疏近似。

【原 文】 Matthews, A.G. de G. et al. (2015) ‘On Sparse variational methods and the Kullback-Leibler divergence between stochastic processes’. arXiv. Available at: https://doi.org/10.48550/ARXIV.1504.07027.

【难 度】 ⭐⭐⭐⭐⭐