1.介绍
这篇论文主要是基于原先的hard triplet提出了了hard global triplet loss和hard cross-modality loss,用它们组成了一个hard pentaplet loss(五态损失)。即下图所示,
原先的hard triplet 只能拉近anchor和positive,推远anchor和negative之间距离。而这里的postive和negative并没有明确指明是intra-modality还是cross-modality。
但是,现在的hard pentaplet loss,特意的标出了cross-modality的postive和nagative。所以不仅仅拉近anchor和positive,推远anchor和negative之间距离,还能拉近anchor和跨模态的positive,推远anchor和跨模态的negative之间距离。
然后把hard pentaplet loss和identity loss运用于rgb-rgb的同模态re-id模型提出了hard pentaplet and identity loss network (HPILN) ,得到了很好的效果。
作者也讲述了为什么模型可以取得这么好的效果?
1.使用的HPIloss有效,其中HP loss使得类间的距离不断加大,然后identity loss继续缩小类内距离
2.采用了较好的采样方法,平衡输入图像的数量,使模型不集中在某一模态图像上
下图是使用了不同的loss函数,样本的分布情况。可以看到,使用HPI>Hp>identity,此时的不同类距离更大,类间距离更小。
2.思想
框架分为两个部分:
1.特征学习(这里使用的是rgb-rgb的特征提取)
2.根据1中的特征构建pentaplet 对
2.1 global triplet loss
这个global triplet loss不仅仅能处理跨模态差异,还能处理同模态差异
2.2 hard cross-modality loss
为了更好的处理跨模态差异,再加一个cross-modality loss
2.3 hard pentaplet loss
把2.1和2.2的损失函数汇总就得到了 hard pentaplet loss
2.4 identity loss
tripletloss仅仅是在距离空间让样本可分离,还需要进行personid分类。进一步减小模内误差。