【论文笔记】2020_ECCV_The Group Loss for Deep Metric Learning

主要问题:

   深度度量学习的损失函数。

 研究现状总结

   从历史上看，性能最佳的方法从所谓的Siamese网络中获得深层特征嵌入，通常使用对比损失(contrastive loss)或三重损失(triplet loss)对其进行训练。这些损失的明显缺点是，它们仅考虑成对的数据点或三重数据点，缺少有关mini-batch中所有成员之间关系的关键信息。此外，这些方法仅考虑相同类别的对象（正）与其他类别的对象（负）之间的关系，而不会区分负数是否属于不同的类别。这导致未考虑嵌入空间的全局结构，因此导致较低的聚类和检索性能。为了弥补这一点，研究人员依靠其他技巧来训练神经网络进行深度度量学习：智能采样，多任务学习或硬阴性挖掘（hard negative mining）。最近，研究人员一直在以有原则的方式努力开发嵌入空间的整体结构，通常是通过设计排序损失函数而不是遵循经典的三重态公式。

方法

   我们提出了Group Loss（组损失），这是一种用于深度度量学习的新颖损失函数，它考虑了mini-batch中所有样本之间的相似性。为了构造mini-batch，我们从固定数量的类中采样，而来自一个类的采样则组成一个组。因此，每个mini-batch都由几个随机选择的组组成，每个组具有固定数量的样本。然后，使用迭代的，完全可微分的标签传播算法来构建特征嵌入，这些特征嵌入对于属于同一组的样本是相似的，否则是不相似的。

   我们方法的核心是一个称为复制器动力学(replicator dynamics)的迭代过程，该过程用神经网络的softmax层提供的局部信息与嵌入之间的相似性给出的迷你批处理的全局信息进行细化。推动原理是，两个样本越相似，它们在选择最终标签时相互影响就越大，并且倾向于在同一组中分组，而不同样本在选择时不会相互影响。使用组损失进行优化的神经网络将学习为属于同一类别的样本提供相似的功能，从而使聚类和图像检索更加容易。

  用群损失（左）和三重态损失（右）训练的神经模型之间的比较。给定属于不同类别的图像的小批量，它们的嵌入是通过卷积神经网络计算的。然后将此类嵌入用于生成相似度矩阵，并将其与可能的类别上的图像先验分布一起馈入组损失。某些小批量图像周围的绿色轮廓指的是锚点。值得注意的是，与三重态损失不同，组损失考虑了多个类别以及所有样本之间的成对关系。

摘要：

Deep metric learning has yielded impressive results in tasks such as clustering and image retrieval by leveraging neural networks to obtain highly discriminative feature embeddings, which can be used to group samples into different classes. Much research has been devoted to the design of smart loss functions or data mining strategies for training such networks. Most methods consider only pairs or triplets of samples within a mini-batch to compute the loss function, which is commonly based on the distance between embeddings. We propose Group Loss, a loss function based on a differentiable label-propagation method that enforces embedding similarity across all samples of a group while promoting, at the same time, low-density regions amongst data points belonging to different groups. Guided by the smoothness assumption that “similar objects should belong to the same group”, the proposed loss trains the neural network for a classification task, enforcing a consistent labelling amongst samples within a class. We show state-of-the-art results on clustering and image retrieval on several datasets, and show the potential of our method when combined with other techniques such as ensembles. To facilitate further research, we make available the code and the models at https://github.com/dvl-tum/group_loss.