受限玻尔兹曼机

1 梯度消失问题与受限玻尔兹曼机 梯度下降法及其派生方法 在使用随机初始化权重的深度网络上效果并不好，其技术原因是：梯度会变得非常小。具体而言，当使用 反向传播方法 计算导数时，随着网络深度的增加，反向传播的梯度幅度值（从输出层到网络的最初几层）会急剧地减小。结果造成整体损失函数相对于最初几层权重的导数非常小。这样，当使用梯度下降法时，最初几层的权重变化非常缓慢，以至于不能从样本中进行有效学习。这种问题通常被称为 梯度的消失。 与梯度消失问题紧密相关的问题是：当神经网络中最后几层含有足够数量神经元时，可能单独这几层就足以对有标签数据进行建模，而不用最初几层的帮助。因此，对所有层都使用随机初始化方法进行训练所得到的网络，其性能将会与浅层网络（仅由深度网络的最后几层组成）性能相似，进而无法体现深度的优势。 梯度消失一直困扰着深度神经网络发展，那么如何解决梯度消失问题呢？合理的初始权重是其中一种解决方案（见下面注释框）。多伦多大学的Geoff Hinton 教授提出的 受限玻尔兹曼机（Restricted Boltzmann Machines, RBM）[1] ，以及在其基础上 ...