1.介绍
本文主要是提出了端到端的网络,相比于Cross-Modality Person Re-Identification with Generative Adversarial Training(IJCAI-18)。
其实我觉得它俩的网络结构很像。。
贡献:1.提出了一个端到端的网络
2.加入了top-ranking
2.思想
2.1 特征提取
作者使用了一个Dual-path Network(双路径)网络来分别进行特征提取,然后将通过权值共享模块将特征融合起来直接输出。
2.2 Dual-Constrained Top-Ranking (双约束的top ranking)###
首先解释什么是top ranking?
普通的triplet loss是这样的:
但是top ranking是这样的:
top ranking对于负例,不对全部负例做处理,而是对不同行人不同模态的距离最小的处理,增大识别的难度。从而可以 增强辨别能力。
双约束有两个
1.cross-modality Top-Ranking Constraint
2.Intra-modality Top-Ranking Constraint
2.2.1 cross-modality Top-Ranking Constraint 跨模态约束
这个就是对跨模态的约束。
2.2.2 Intra-modality Top-Ranking Constraint 内模态约束
2.3 Overall Embedding Loss
由于仅仅通过跨模+同模来学习特征区分身份id是不够的,因为他们是度量学习,仅仅是把样本区分开。
因此将身份idloss也加入损失函数优化中