主动学习与深度贝叶斯网络（图像分类任务）
【摘 要】尽管主动学习是机器学习的重要支柱，但深度学习工具在其中应用并不普遍。在主动学习场景中使用深度学习会带来一些困难。首先，主动学习处理的对象是小数据，而深度学习的最新进展主要源于其对大量数据的依赖。其次，许多采集能力依赖于模型的不确定性估计，而在深度学习中很少表示模型的不确定性。本文基于深度学习的贝叶斯方法，以实用方式将贝叶斯深度学习的最新进展结合到了主动学习框架中。我们为高维数据开发了一个主动学习框架，这项任务在已有文献非常匮乏的情况下极具挑战性。利用贝叶斯卷积神经网络等专门模型，本文以图像数据为示例展示我们的主动学习技术，结果表明该技术能够显著改进现有主动学习方法。
【原 文】 Gal Y., Islam R., Ghahramani Z. (2016) Deep Bayesian Active Learning with Image Data. In: Bayesian Deep Learning workshop, NIPS
【阅后感】 本文对于那些尚不太清楚不确定性能做什么的人，是一个结合图像数据的很好案例。对于那些想提升主动学习效率的读者，也会有所帮助 ...
MCDropout 用于多任务学习
【摘 要】 理解模型的不确定性（uncertainty）是机器学习的关键。但能够理解不确定性的传统机器学习方法（如高斯过程，Gaussian Processes, GP），很难应用于如图像、视频等高维数据。深度学习（Deep Learning）能够高效处理该类数据，但其难以对不确定性建模。本文将介绍一个重新兴起的领域，称为贝叶斯深度学习 （贝叶斯深度学习），它提供了一个可以建模不确定性的深度学习框架。贝叶斯深度学习可以达到最先进的结果，同时也能理解不确定性。
【原 文】 见 Deep Learning Is Not Good Enough,We Need Bayesian Deep Learning for Safe AI
【阅后感】 本文作者是 MC Dropout 方法提出团队的成员之一，本文以博客形式发布，浅显易懂，可以作为入门级别的读物。重点掌握：（1）不确定性的来源和分类；（2）不同不确定性的建模思路；（3）在偶然不确定性方面，作者提出了数据依赖和任务依赖两种子类型，并针对任务依赖型数据不确定性进行了建模；（4）具体技术细节参考博文中提供的两篇论文。
1、 背景
...