论文阅读笔记（五十四）高低分辨率行人重识别 (Part 3)

Inter-Task Association Critic for Cross-Resolution Person Re-Identification【CVPR2020】

作者将HR-LR Reid的方法分为两类：① 学习一个适应分辨率(resolution-invariant)的表征方法；② 才用图像超分方法。前者容易丢失LR图像中的细粒度特征；后者需要连接SR和Reid两个不同的任务，难以训练。本文主要针对第二类方法，提出一个Inter-Task Association Critic (INTACT)，将两者有效的结合训练。该方法包含了一个Multi-task (SR & ReID)网络和一个association critic网络。

当前的方法主要将SR网络和ReID网络连接起来，SR网络损失函数包含了像素级的重构损失和GAN损失，ReID网络采用了交叉熵损失。损失函数具体为：

 (Eq. 1)

 (Eq. 2)

  (Eq. 3)

 

 (Eq. 4)

为了解决上述方法的训练困难，作者引入了一个正则化项 Inter-Task Association Critic (INTACT)，其核心思想是利用任务之间的内在联系作为一个额外的优化约束，来促进它们的联合学习并增强它们的兼容性，然而如何度量这种内在联系？为此，作者参数化了这种联系。

将原始的HR图像输入判别器中，得到一个判别特征（二分类特征）；输入ReID网络，得到行人特征。学习一个特征映射，即上述的联系，损失如下。这里作者基于了一个假设：HR图像的ReID特征中包含了判别器所需要学习的HR特征分布。

 (Eq. 5)

为了分离中间的隐藏特征，再对判别特征进行一个特征映射，即：

 （Eq. 6）

最终损失函数：

 (Eq. 7)

（看的不是很明白......这里我的大致理解就是：用原始HR图像学习HR特征分布，再让判别器能够感知特征分布）

当已经学习到模型的联系后，再应用到LR图像处理中，即：

 (Eq. 8)

模型的训练包含3步，具体为：

SR网络细节：

ReID网络采用HR图像训练，网络采用此论文：Omni-scale feature learning for person reidentification 【ICCV 2019】

实验结果：