开集分割
1、2022ECCV_MaskCLIP_Extract Free Dense Labels from CLIP
1.1 贡献
- 1.想要保留clip开集能力，image encoder和text encoder都不能动
- 2.探索CLIP模型细粒度特征表达能力的打开方法
- 2.CLIP模型在不加入参数情况下的开集分割能力，以及提升开集能力的2个trick（Key Smoothing and Prompt Denoising.）
- 3.探索CLIP蒸馏方法训练开集分割模型的方法,对齐方法使用伪标签
1.2 Insight
2. 2022ICLR_LSeg_LANGUAGE-DRIVEN SEMANTIC SEGMENTATION
1.1 贡献
- 1.仅通过保留CLIP text encoder, 利用CLIP text encoder文本特征空间保留开集能力
- 2.image encoder重新训练
1.2 Insight
- 1.仅通过CLIP text encoder文本特征空间保留开集能力，这个强假设 开集能力弱
- 2.文中效果的好，训练集多是一个原因
