NFormer: Robust Person Re-identification with Neighbor Transformer

简介：

NFormer是一种基于Neighbor Transformer的鲁棒人体重新识别方法。它通过对相邻图像中人体的特征进行聚合来提高人体重新识别的准确性和稳定性。
首先，NFormer通过学习人体关键点的邻域信息，将人体关键点的特征聚合到一个矩阵中，这个矩阵称为关键点矩阵。
然后，NFormer采用Neighbor Transformer对关键点矩阵进行特征聚合，通过多层的Transformer结构来捕捉邻域信息，并通过一个分类器来预测人体的ID。
最后，NFormer通过模型融合的方式，将多个模型的预测结果融合到一起，来提高人体重新识别的准确性和稳定性。

摘要：
大多数研究考虑从单个图像中学习表示，而忽略了它们之间的任何潜在交互。然而，由于一个人在摄像头下的角度一直在变化，如果忽略这种变化，那么不同角度的图片输入到模型中，模型会认为此图片存在异常。
为了解决这个问题，我们提出了一个邻居变压器网络或NFormer，它显式地对所有输入图像之间的交互建模，从而抑制离群特征，总体上导致更健壮的表示。由于对大量图像之间的交互进行建模是一项具有大量干扰物的海量任务，NFormer 引入了两个新的模块，即the Landmark Agent Attention和the Reciprocal Neighbor Softmax.

• the Landmark Agent Attention 通过低秩分解有效地对图像之间的关系图进行建模，该分解使用特征空间中的landmarks。
• the Reciprocal Neighbor Softmax对相关而不是仅所有邻居都实现了稀疏的注意力，这减轻了不相关表示的干扰，并进一步减轻了计算负担。