CuVLER：通过穷尽式自监督Transformer增强无监督对象发现

CuVLER：通过穷尽式自监督Transformer增强无监督对象发现

介绍了VoteCut，这是一种创新的无监督对象发现方法，它利用了来自多个自监督模型的特征表示。VoteCut采用基于归一化切割的图分割、聚类和像素投票方法。此外，还介绍了CuVLER（Cut-Vote-and-LEaRn），一种零样本模型，使用VoteCut生成的伪标签进行训练，以及一种新的软目标损失来提高分割精度。通过对多个数据集和几个无监督设置的严格评估，新方法与之前的最先进模型相比有了显著的改进。消融研究进一步强调了每个组成部分的贡献，揭示了新方法的稳健性和有效性。VoteCut和CuVLER共同为图像分割的未来发展铺平了道路。项目代码可在GitHub上找到

VoteCut工作流程的图解、聚类和投票阶段，如图3-33所示。

图3-33 VoteCut工作流程的图解、聚类和投票阶段

在图3-33中，（a）VoteCut工作流程的图解概述。一组模型最初对输入图像进行推理，为单个补丁生成特征表示。随后，按照该方法执行归一化切割（NCut），从每个模型中得到第二小的特征向量。通过对这些具有不同K值的特征向量应用1D K-均值聚类，生成了多个分段改进。VoteCut的最后阶段涉及对这些改进方案进行聚类，并通过投票从每个聚类中提取否定掩码。每个定义掩码也与一个分数相关联。（b）详细介绍了VoteCut的聚类和投票阶段。首先，使用联合交叉点（IoU）阈值对分段进行聚类，确定簇内的分段成员资格。

在每个集群内采用投票机制来决定每个补丁是否应包含在该段中。最后，应用条件随机域（CRF）在优秀级别重新定义掩码。簇大小决定了分配给每个掩码的分数。