开集分割

1、2022ECCV_MaskCLIP_Extract Free Dense Labels from CLIP

1.1 贡献

  • 1.想要保留clip开集能力,image encoder和text encoder都不能动
  • 2.探索CLIP模型细粒度特征表达能力的打开方法
  • 2.CLIP模型在不加入参数情况下的开集分割能力,以及提升开集能力的2个trick(Key Smoothing and Prompt Denoising.)
  • 3.探索CLIP蒸馏方法训练开集分割模型的方法,对齐方法使用伪标签

1.2 Insight

2. 2022ICLR_LSeg_LANGUAGE-DRIVEN SEMANTIC SEGMENTATION

1.1 贡献

  • 1.仅通过保留CLIP text encoder, 利用CLIP text encoder文本特征空间保留开集能力
  • 2.image encoder重新训练

1.2 Insight

  • 1.仅通过CLIP text encoder文本特征空间保留开集能力,这个强假设 开集能力弱
  • 2.文中效果的好,训练集多是一个原因
posted @ 2023-10-17 22:02  哈哈哈喽喽喽  阅读(51)  评论(0编辑  收藏  举报