多视图表示学习概览
【摘 要】 表示学习是一种训练机器学习模型的特殊类型，它学着将原始的输入数据变换为对实现未来任务更有用的新形式。近年关于表示学习的研风头日胜，因为在很多实际工作中，增加预训练以学习有用的表示，确实提升了很多下游任务的性能。本文主要对表示学习的门类和方法做一概述，文章内容主要来自 Murphy 的《Machine Learning: Advanced Topics》第 32 章。
【参 考】 李沐老师讲论文系列
自监督学习有生成式学习和对比学习，对比学习需要从无标注的数据中学习特征表示，并用于下游任务中。指导原则是: 通过构造相似实例和不相似实例，学习一个表示学习模型，使得相似的实例在投影空间中较接近，不相似的实例在投影空间中距离较远。
对比学习有三个关键问题:
正负样本的构造
编码器的设计
Loss函数的选取。
过去几年，尤其是2018年开始到现在，对比学习在计算机视觉领域的发展可以划成四个阶段:
2018~2019年中，Inst Disc、CPC、CMC等方法和模型都还没有统一，目标函数和代理任务也还没有统一;
2019~2020年中，SimCLR、Moco、CP ...
表示学习概览
【摘 要】 表示学习是一种训练机器学习模型的特殊类型，它学着将原始的输入数据变换为对实现未来任务更有用的新形式。近年关于表示学习的研风头日胜，因为在很多实际工作中，增加预训练以学习有用的表示，确实提升了很多下游任务的性能。本文主要对表示学习的门类和方法做一概述，文章内容主要来自 Murphy 的《Machine Learning: Advanced Topics》第 32 章。
【参 考】 Murphy, 《Machine Learning: Advanced Topics》ch. 20
【思维导图】
1 概述
表示学习是一种训练机器学习模型以将原始输入变换为更容易解决新任务的形式的范式。与在训练时就已经知道了任务的监督学习不同，表示学习通常假设我们并不知道希望解决的任务是什么。但如果没有这些知识，是否真的可以学习到对后续任务有用的输入呢？
表示学习存在可能性的证据之一来自我们自身。人类可以快速形成对新类的丰富表示，并且支持多种行为：找到该类的更多实例，将该实例分解为多个部分，从该类生成新实例等。但是，很难直接指定我们希望机器学习系统学习哪些表示。我们可能希 ...