论文阅读笔记（五十）多模态行人重识别文献阅读 (未完结)

RGB-Infrared Cross-Modality Person Re-Identification【ICCV2017】

该论文开创了RGB-IR跨模态行人重识别分支领域。

本文首先列举了三类适用于跨模态的网络模型：

① 单分支结构：

② 双分支结构：

③ 不对称全连接层结构：

作者提出了Deep Zero-Padding方法。首先把RGB图像的3维压缩为1维，然后RGB-IR双模态各占1维，对应缺失的维度补0，再输入神经网络中。

实验结果（在SYSU-MM01数据集上）：

 

Hierarchical Discriminative Learning for Visible Thermal Person Re-Identification【AAAI2018】

源码【传送门】

本文提出了一个深度学习、度量学习结合的方法VT-REID，同时对特定模态度量和共享模态度量进行优化。特定模态度量压缩同模态同ID的行人距离，共享模态度量学习一个能够将不同模态转到相同特征空间的投影（简单概括：前者压缩类内距离，后者用于跨模态的ID判别）。

 方法概述：

首先通过一个双分支CNN Network（TONE），学习得到跨模态共享特征，采用contrastive loss来压缩跨模态之间的gap，具体如下，其中，x、z为双分支FC2后的输出。 

提取得到特征后采用Hierarchical Cross-modality Metric Learning（HCML）方法来优化特定模态度量和共享模态度量，目标函数如下，其中X、Z为TONE中提取得到的特征向量，V、T表示特定模态度量矩阵，M为共享模态度量矩阵。

Modality-spacific Terms：用于降低同模态同ID下的特征距离，其中K₁、K₂为两种模态ID的数量，n_i、n_j为第i、j个ID存在对应模态的图像数量，h损失计算为。

 

Modality-shared Term：用于将不同模态的特征投影到同一个特征空间。如果i、j是正样本对，权重为；如果是负样本对，权重为。

实验结果（在RegDB数据集上）：

(未完成...)