论文解读（MoCo v2）《Improved Baselines with Momentum Contrastive Learning》

论文信息

论文标题：Improved Baselines with Momentum Contrastive Learning
论文作者：Kaiming He、Haoqi Fan、 Yuxin Wu、 Saining Xie、 Ross Girshick
论文来源：2020 CVPR
论文地址：download 
论文代码：download
引用次数：5582

1 介绍

　　SimCLR 对 end-to-end 的改进：

• • 可提供更多负样本的大批次；　　
  • 使用 $\text{MLP projection head}$ 代替 $ F_c \text{projection head} ；
  • 数据增强；

　　Moco v2 的改进：

• • 使用 $\text{MLP projection head}$ 代替 $ F_c \text{projection head} ；
  • 数据增强 [更多]；

2 方法

　　MoCo v2 框架

　　

　　改进：将卷积层后的线性层改成两层的 MLP；

3 实验 

消融实验

　　

　　策略：

1. 1. 添加 MLP ；
   2. 添加数据增强；
   3. 采用余弦衰减学习率；
   4. 调整 epochs 大小；

Baseline 对比　

　　

4 总结

　　略