2020年度自监督学习论文整理
2020年， Google 大脑、Facebook AI团队 (FAIR)以及DeepMind AI团队相继发表了contrastive learning框架。本文整理了2020年以来，对比学习(contrastive learning )的重要里程碑和大佬们的研究路线，方便大家掌握发展路径和现状。
在开始之前，先介绍self-supervised learning (自监督学习) 与contrastive learning (对比学习) 这两个热点名词。
Self-Supervised Learning
Self-Supervised Learning（SSl） 其实算是近几年的热点名词，定义上回顾一下：
- unsupervised：是使用没有标注的数据训练模型
- supervised：是使用了有标注的数据训练模型
- semi-supervised ：是同时使用了有标注与没有标注的数据训练模型。
而self-supervised翻成中文大概是自监督学习，也就是没有标注资料也会自己会学习的方法。属于unsupervised learning。
Contrastive Learning
Contrastive learning是self-supervised learning中非常naive的想法之一。像小孩子学习一样，透过比较猫狗的同类之间相同之处与异类之间不同之处，在即使式在不知道什么是猫、什么是狗的情况下 (甚至没有语言定义的情况)，也可以学会分辨猫狗。
RoadMap of SSL
如上图，从MoCo到SimSiam，这些论文都来自三大组：
- Facebook AI Research (FAIR) ：MoCo v1&v2, SwAV，Simsiam
- Google Research, Brain Team：SimCLR v1 & v2
- DeepMind Research：BYOL
（1）Facebook AI Research (FAIR) ：MoCo v1&v2, SwAV，Simsiam
MoCo - Momentum Contrast for Unsupervised Visual Representation Learning
CVPR 2020
链接：https://arxiv.org/pdf/1911.05722.pdf
MoCo (momentum contrast) 的想法是维持两个encoder，一个使用gradient decent训练，另一个的参数则是跟著第一个encode的参数，但是
