👍 变分自编码器权威综述
【摘 要】 变分自编码器为学习深度隐变量模型和相应的推断模型提供了一个原理框架。在本文工作中，我们介绍了变分自编码器和一些重要的扩展。
【原 文】 Diederik P. Kingma and Max Welling (2019), “An Introduction to Variational Autoencoders”, Foundations and Trends® in Machine Learning: Vol. 12: No. 4, pp 307-392. http://dx.doi.org/10.1561/2200000056
1 概述
1.1 动机
（1）生成式建模与判别式建模
机器学习的一个主要部分是生成与判别式建模。判别式建模的目标是在给定观测的情况下学习如何预测变量，而生成式建模的目标是解决更普遍的问题，即学习所有变量的联合分布。
生成式模型模拟数据在现实世界中的生成方式。几乎每门科学都将 “建模” 理解为：作出理论假设，然后通过观测来检验这些理论以揭示这一生成过程。例如，当气象学家模拟天气时，他们使用高度复杂的偏微分式来表达天气的基本物理特性。或者当 ...
变分自编码器索引帖
#refplus, #refplus li{
padding:0;
margin:0;
list-style:none;
}；
document.querySelectorAll(".refplus-num").forEach((ref) => {
let refid = ref.firstChild.href.replace(location.origin+location.pathname,'');
let refel = document.querySelector(refid);
let refnum = refel.dataset.num;
let ref_content = refel.innerText.replace(`[${refnum}]`,'');
tippy(ref, {
content: ref_content,
...
神经网络--变分自编码器与 GAN
〖摘要〗
〖原文〗 Standford cs228 notes
〖参考〗CMU 10-708 Slides / CMU 10-708 Lecture Notes / Jordan TextBook, Ch.2(section 2.2 - end) / Koller’s Textbook,Ch.4 / A. Fischer and C. Igel, An Introducton to Restricted Boltzmann Machines / B. A. Cipra, An Introduction to the Ising Model
➂ 连续型隐变量：变分自编码器
连续型隐变量模型与变分自编码器
Sources:
Notebook
Repository
p{text-indent:2em;2}
第 1 部分 本系列文章介绍了具有离散隐变量的隐变量模型、高斯混合模型 (GMM) 和拟合算法这个模型要数据，EM 算法。第 2 部分介绍了具有连续隐变量的隐变量模型，用于对更复杂的数据（例如自然图像）进行建模，以及可与随机优化算法结合使用的贝叶斯推理技术。
Consider a natural image of size 100×100100 \times 100100×100 with a single channel. This image is a point in 10.00010.00010.000-dimensional space. Natural images are usually not uniformly distributed in this space but reside on a much lower-dimensional manifold within this high-dimensional spa ...
3️⃣ 变分自编码器原始论文
【摘 要】 如果存在具有棘手后验的连续型隐变量和大数据集，如何在有向概率图模型中进行有效的推断和学习？ 本文引入了一种随机变分推断和学习算法。该算法能够在一些轻度差异化（甚至棘手）的情况下工作，并且能够扩展到大型数据集。本文的贡献有两个：首先，证明了重参数化技巧可以得到对变分下界的无偏估计，并且可用于随机梯度的优化。其次，对于有连续型隐变量的独立同分布数据集，我们利用重参数化的变分下界估计，成功地为棘手后验拟合了近似的推断模型（注：利用摊销推断思想，将传统棘手的局部隐变量推断问题转变成了神经网络预测问题）。理论优势最终反映在了实验结果中。
【原 文】 Kingma, D.P. and Welling, M. (2014) ‘Auto-Encoding Variational Bayes’. arXiv. Available at: http://arxiv.org/abs/1312.6114 (Accessed: 14 October 2022).
1 介绍
当模型中存在具有棘手后验的连续型隐变量和/或参数时，我们如何使用有向概率图模型进行近似推断和学习呢？
在实践中， ...
2️⃣ 概率视角看变分自编码器
〖摘要〗 本文从神经网络和概率机器学习两个视角，介绍了 VAE 背后的数学原理。严格意义上来说，变分自编码器（ VAE）是一种面向连续型隐变量的黑盒变分推断方法。其建立在基于神经网络的函数逼近之上，并可用随机梯度下降进行训练。VAE 已在生成多种复杂数据方面显示出很好的前景，包括手写数字、人脸、门牌号、CIFAR 图像、场景物理模型、分割以及从静态图像预测未来。
〖原文〗 Jaan Altosaar；Understanding Variational Autoencoders (VAEs) from two perspectives: deep learning and graphical models.；2016
p{text-indent:2em}
1 问题的提出
为什么深度学习研究人员和概率机器学习人员在讨论变分自编码器时会感到困惑？什么是变分自编码器？为什么围绕这个术语存在不合理的混淆？
这是因为存在概念和语言上的代沟！!!
神经网络科学和概率模型之间缺少共同的语言。本文的目标之一是弥合这一差距，并允许它们之间进行更多的协作和讨论，并提供一致的实现（Github 链 ...
1️⃣ 初始变分自编码器
【摘 要】本文从自编码器入手，讨论了自编码器与变分自编码器之间的本质区别，并简单介绍了变分自编码器的工作原理，适合于认识变分自编码器的第一篇入门读物。
【原 文】Joseph Rocca & Baptiste Rocca，Understanding Variational Autoencoders VAEs
1. 简介
在过去的几年中，由于一些惊人的进步，基于深度学习的生成模型越来越受到关注。依靠大量数据，精心设计的网络结构和训练技术，深度生成模型已经显示出了令人难以置信的能力，可以生成高度逼真的各种内容，例如图像，文本和声音。在这些深度生成模型中，有两个类别脱颖而出，值得特别关注：生成对抗网络（GAN）和 变分自编码器（VAE）。
图 1 VAE 生成的人脸图片
简而言之，VAE 是一种自编码器，在训练过程中其编码的概率分布是正则化的，以确保其在隐空间具有良好特性，进而允许我们生成一些新数据。术语 “变分” 源自统计中的 正则化 和 变分推断 方法。
虽然最后两句话很好地概括了 VAE 的概念，但是它们也会引出很多问题。什么是自编码器？什么是隐空间？为什么要 ...