simCLR_A simple framework for contrastive learning of visual representations.

合集 - 论文分享(9)

1.simCLR_A simple framework for contrastive learning of visual representations.2023-04-20

2.OSFormer: One-Stage Camouflaged Instance Segmentation with Transformers2023-07-043.医学图像分割论文：Swin-Unet—Unet-like Pure Transformer for Medical Image Segmentation_202105.055372021-05-214.可作为CV backbone的Transformer：Swin Transformer_Hierarchical Vision Transformer using Shifted Windows2021-05-215.医学图像分割论文(cvpr2021): TransUNet2021-05-106.结节良恶性预测：Parse and Recall: Towards Accurate Lung Nodule Malignancy Prediction like Radiologists2023-10-107.SENetV2: 用于通道和全局表示的聚合稠密层2023-12-068.u-net v2: rethinking the skip connections of u-net for medical image segmentation2024-01-029.YOLOv10: Real-Time End-to-End Object Detection2024-06-24

收起

 

摘要

 

提出SimCLR，用于视觉表征的对比学习，简化了最近提出的对比自监督学习算法，为了理解是什么使对比预测任务能够学习有用的表示，系统研究了提出框架的主要组成部分，发现：

（1）数据增强的组成在定义有效的预测任务中起着关键的作用

（2）在表示和对比损失之间引入一个可学习的非线性变换，大大提高了已学习表示的质量

（3）与监督学习相比，对比学习受益于更大的批量规模和更多的训练步骤

SimCLR学习的自监督表示训练的线性分类器达到了76.5%的top-1精度，比之前的技术水平提高了7%，与监督ResNet-50的性能相匹配。

 

 

代码：https://github.com/google-research/simclr 

方法

1. 对比学习框架

 

 

随机采样一个minibatch的数据（N个样本），定义生成的增强样本对的对比预测任务，得到2N个数据点，给定一个正例对，将其它2(N-1)个增强样本当作负例，相似性度量采用余弦距离，则正例对（i,j）的损失函数为：

 

 

τ代表温度参数，最后的损失是计算所有正例样本对，包含(i,j)和(j,i)，称之为NT-Xent (the normalized temperature-scaled cross entropy loss)

 

提出的方法可总结为：

 

 

 

实验

1. 投影头实验发现：

1. 非线性投影比线性投影好（>3%），比不投影高很多（>10%）
2. 隐藏层在投影头前面比在层后面要好

 

2. NT-Xent损失与其它常用对比损失函数的比较（logistic loss、margin loss）：

 

  

3. 采用不同标签训练时的指标对比：

 

公众号