MoCo阅读
引言
- 基于负例对比学习:Moco MocoV2 MocoV3 SimCLR SimCLRV2
- 基于聚类的对比学习:以SwAV为代表,也是上下分支对称结构。
- 使用正例:其中一个代表模型BYOL,上分枝被称为Online,下分枝被称为Target,结构不对称;
- 更换了一个损失函数:代表模型是Barlow Twins,使用正例,结构对称,更换了损失函数
SimCLR
MoCo v2
笔记
Loss functions(目标函数)
也就是学习目标。这里主要说无监督的模型
生成式网络
衡量原图和模型生成的图之间的差异。(重建整张图)
判别式网络
判断九宫格图像块之间的位置,比如中间图像块周围的8个位置。(预测位置)
对比学习
让相似物体图像拉的特别近,不相似物体图像之间尽可能拉的远。(与上面两种最大的不同是,上面两种目标是固定的,对比学习目标不固定)
对抗学习
衡量两个概率分布之间的差异
代理任务(Pretext tasks)
- 重建整张图(denoising auto-encoders)
- 重建某个patch(context auto-encoders)
- 图片上色(cross-channel auto-encoders (colorization))
- 生成伪标签
- 九宫格方法,预测方位or预测顺序
- 利用视频信息做tracking
- 聚类
- 个体判别(instance discrimination)
对比学习的代理任务(个体判别)就是使用数据增强,得到的同一张图片的数据增强尽可能在超球上靠的比较近,不是同一张靠的特别远。
随心随我