【论文笔记】:2020-CVPR-Moving in the Right Direction A Regularization for Deep Metric Learning

问题:

  度量学习中的优化问题,移动方向。

研究现状:

  从本质上讲,学习度量空间可以简化为找到一个嵌入空间,从而使同一类别/类别的样本(正样本)相互映射到彼此接近的点,同时确保根据定义的距离度量的某些概念最大程度地分离不同类别的样本(负样本)为空间。

  从本质上讲,以往的所有方法都是设计一种好的采样策略或者优化损失函数。然而,优化方向还没有人考虑过。仅将负样本沿所考虑的当前样本(锚)最远的方向推动可能不是最佳方法。

  度量学习优化的困难。蓝色方块是特定类别的对象,而红色星星是代表不同类别的对象。带有黄色突出显示的蓝色正方形是锚点。灰色对象不被视为当前对象对的损失。典型的度量学习公式试图将属于不同类的对象的嵌入移开,同时将其移近具有相同语义标签的对象。但是,如此处所示,当将对象移向相对的簇时,这样的表述可能会导致次优解决方案。

创新点:

    1.确定优化移动方向对度量学习的重要性。

    2.提出了一种新颖的损耗判据,该判据明确监测被置换样品的方向并相应地对其进行惩罚。

方法:

— = n(fn - fa) 
= n(fa - fp) 
Dfp 
— = n(fp — 
(a) Triplet Loss Gradients 
(b) Direction Regularized Triplet Loss Gradients 
Figure 2: Behaviour of the Triplet Loss based gradient update step as compared to Triplet Loss incorporated with Direction 
Regularization. The samples represented by the green triangles represent a single class while the red circle represents a 
negative sample. The dashed black arrows indicate the update step performed on the embeddings with the computed gradients. 
For 2b, the dotted blue arrows represent the effect of the regularization term leading to a substantial change in the way fa is 
shifted as compared with the vanilla Triplet Loss

o 
fp•fa 
A (fa) 
Figure 3: Geometric illustration of the layout of the anchor, 
positive and negative samples. The lines OA, OP and ON 
represent the unit-normalized embedding vectors for the an- 
chor (f a), positive (fp) and negative (In) respectively. C is 
the midpoint of PA and OC represents the average embed- 
ding vector (not unit-normalized).

结论:

    深度度量学习试图解决具有挑战性的任务,即创建丰富的表示空间来编码类内部的多样性,同时保持类之间的清晰分隔。这种空间的发现对优化过程中选择的路径极为敏感。通过明智地使用样本附近所有可用信息来智能更新样本嵌入至关重要。在这项工作中,我们发现了现有度量学习损失公式的不足之处,因为它们没有考虑最佳更新方向。我们提出的解决方案通过引入一种新颖的方向正则化因子对此进行了纠正,该因子将线对逼向度量空间中最合适的位置。这样做,损失函数固有地基于源自正负相对于锚的相对分布的梯度来实现成对加权的形式。该方法在标准图像检索数据集上获得了最新的结果,从而验证了损失公式中对这种正则化因子的需求。

posted @ 2020-11-30 19:30  no_forget  阅读(297)  评论(0编辑  收藏  举报