Global Distance-distributions Separation for Unsupervised Person Re-ID （ECCV 2020）

一、Motivation

正样本对距离和负样本对距离的分布通常都是重叠的，没有被很好的分开
ReID的推理是一个全局的检索问题，而训练优化的目标函数是局部的 Triplet Loss (这是一个优化和目的的不匹配)
无论是在 instance 还是在 batch level 都不能很好解决这个问题
从 dataset-level 设计 loss 存在低效，更新不及时，计算不准确等问题

二、Method

I. Overall

分三阶段：① 在源域上进行预训练，获取一个特征提取器；② 进行聚类，获取伪标签；③ 使用 GDS 进行 fine-tuning。

II. Global Distance-distribution (GDS) Modeling with Momentum Update

由于同时挖掘所有样本的距离关系，需要很大的内存且费时，本文采用一个动量更新的方式进行优化。

GDS Loss
优化目的：拉开正负样本两个分布均值的距离，减小两个分布的方差，使得分布更尖锐。

Hard Mining Loss
优化目的：为了更好分开两个分布，拉开正样本分布右尾和负样本分布左尾的距离（理论依据：3\(\sigma\) 原理）

Overall Loss

可微性分析