生成任务

【摘要】 【原文】 【参考】

〖摘要〗 本文从神经网络和概率机器学习两个视角，介绍了 VAE 背后的数学原理。严格意义上来说，变分自编码器（ VAE）是一种面向连续型隐变量的黑盒变分推断方法。其建立在基于神经网络的函数逼近之上，并可用随机梯度下降进行训练。VAE 已在生成多种复杂数据方面显示出很好的前景，包括手写数字、人脸、门牌号、CIFAR 图像、场景物理模型、分割以及从静态图像预测未来。 〖原文〗 Jaan Altosaar；Understanding Variational Autoencoders (VAEs) from two perspectives: deep learning and graphical models.；2016 p{text-indent:2em} 1 问题的提出 为什么深度学习研究人员和概率机器学习人员在讨论变分自编码器时会感到困惑？什么是变分自编码器？为什么围绕这个术语存在不合理的混淆？ 这是因为存在概念和语言上的代沟！!! 神经网络科学和概率模型之间缺少共同的语言。本文的目标之一是弥合这一差距，并允许它们之间进行更多的协作和讨论，并提供一致的实现（Github 链 ...

【摘 要】概率 PCA 模型（pPCA）。

【摘 要】本文从自编码器入手，讨论了自编码器与变分自编码器之间的本质区别，并简单介绍了变分自编码器的工作原理，适合于认识变分自编码器的第一篇入门读物。 【原 文】Joseph Rocca & Baptiste Rocca，Understanding Variational Autoencoders VAEs 1. 简介 在过去的几年中，由于一些惊人的进步，基于深度学习的生成模型越来越受到关注。依靠大量数据，精心设计的网络结构和训练技术，深度生成模型已经显示出了令人难以置信的能力，可以生成高度逼真的各种内容，例如图像，文本和声音。在这些深度生成模型中，有两个类别脱颖而出，值得特别关注：生成对抗网络（GAN）和 变分自编码器（VAE）。 图 1 VAE 生成的人脸图片 简而言之，VAE 是一种自编码器，在训练过程中其编码的概率分布是正则化的，以确保其在隐空间具有良好特性，进而允许我们生成一些新数据。术语 “变分” 源自统计中的 正则化 和 变分推断 方法。 虽然最后两句话很好地概括了 VAE 的概念，但是它们也会引出很多问题。什么是自编码器？什么是隐空间？为什么要 ...

1 梯度消失问题与受限玻尔兹曼机 梯度下降法及其派生方法 在使用随机初始化权重的深度网络上效果并不好，其技术原因是：梯度会变得非常小。具体而言，当使用 反向传播方法 计算导数时，随着网络深度的增加，反向传播的梯度幅度值（从输出层到网络的最初几层）会急剧地减小。结果造成整体损失函数相对于最初几层权重的导数非常小。这样，当使用梯度下降法时，最初几层的权重变化非常缓慢，以至于不能从样本中进行有效学习。这种问题通常被称为 梯度的消失。 与梯度消失问题紧密相关的问题是：当神经网络中最后几层含有足够数量神经元时，可能单独这几层就足以对有标签数据进行建模，而不用最初几层的帮助。因此，对所有层都使用随机初始化方法进行训练所得到的网络，其性能将会与浅层网络（仅由深度网络的最后几层组成）性能相似，进而无法体现深度的优势。 梯度消失一直困扰着深度神经网络发展，那么如何解决梯度消失问题呢？合理的初始权重是其中一种解决方案（见下面注释框）。多伦多大学的Geoff Hinton 教授提出的 受限玻尔兹曼机（Restricted Boltzmann Machines, RBM）[1] ，以及在其基础上 ...