Know Your Surroundings: Exploiting Scene Information for Object Tracking

Know Your Surroundings: Exploiting Scene Information for Object Tracking

2020-03-25 17:52:24

Paper: https://arxiv.org/abs/2003.11014

Code: 尚无

1. Background and Motivation:

本文将背景的信息建模到单目标跟踪框架中，在 DiMP 跟踪器的基础上又得到了提升。其实这个想法很直接，就是想借助场景中的其他物体来协助定位真正的目标物体。因为现有的 Siamese network 虽然在常规的 video 上效果很好。但是，他们并么有考虑到场景中的其他物体，这导致相似性物体存在时，有可能使得模型漂移。

如上图所示，如果仅仅根据第一帧，根本无法判别到底哪一个黑色的物体才是真正的目标物体。但是如果有了临近的视频帧，通过对比背景物体，就可以知道了。

2. The Proposed Method：

本文提出一种新的跟踪框架可以探索场景信息来改善跟踪的结果。当前顶尖的跟踪器仅仅依赖于物体的外观模型来独立的处理每一帧，本文的方法可以从前面的视频帧上传递场景信息。这提供了丰富的环境因素，例如相似物体的位置，可以明显的改善物体的定位。

如图 2 所示，本文的跟踪器会tracking 场景中的所有物体，然后传递任何关于他们的信息来帮助目标物体的定位。而达到这个目标，作者是通过维持一个目标近邻的每一个区域的 state vector。该 state vector 可以编码是否一个特定的 patch 块对应目标物体，背景或者是相似物体。随着目标物体的移动，状态向量通过预测连续两帧之间的稠密对应关系来实现传递。传递的状态向量随后和目标外观模型进行融合，以预测最终的目标置信得分进行定位。最终，预测器的输出和目标模型用 ConvGRU 来更新状态向量。

2.1. Tracking with Scene Propagation:

跟踪期的预测包含两个信息：1). 当前帧的外观；2). 随着时间传递的场景信息。

外观模型的目标是区分背景中的目标物体。目标模型有能力从遮挡中恢复和提供长期的鲁棒性。然而，这种模型却忽略了场景中的其他物体。为了提取场景信息，作者对目标近邻的每一个区域都保持了一个状态向量。具体的，对于每一个空间位置 r，作者保持了一个 S-维的状态向量 h。该状态向量包含了 cell 中的信息，可以用于单目标跟踪。其可以编码是否一个特定的 cell 对应前景，背景，或者是干扰物体。需要注意的是，作者没有显示的强调这种编码，但是让 h 是 generic representation，这种编码是通过最小化跟踪损失来端到端训练出来的。

在第一帧的时候进行状态向量的初始化，利用的是一个小的网络，其将第一帧中目标标注 B0 作为输入。该网络输出一个 single-channel label map 来指定目标的位置。这是通过两个卷积层来实现的，以得到初始的状态向量 h0。状态向量包含定位信息，特别是们对应的图像区域。所以，随着物体在序列中移动，也要随着进行状态的更新和传递。给定一个新的视频帧 t，作者将状态 $h_{t-1}$ 从前一帧到当前帧进行传递。这是通过一个状态转移模型实现的：

此处，$x_t, x_{t-1}$ 是当前帧和前一帧的深度特征表达。输出 $\hat{h_{t-1}}$ 代表了空间传递状态，弥补了物体和背景的运动。传递可靠性图表明了状态传递的可靠性。即，一个较高的值表明：the state at r has been confidently propagated。在定位的时候，可靠性图可以用于决定是否可以相信传递的状态向量。

为了预测目标物体的位置，作者利用了外观模型和传递向量。后者捕获了场景中所有物体的有价值的信息，补充了 target-centric information。作者将状态向量，和可靠性得分以及外观模型的预测输入到预测模块 P 中。该预测器组合了这些信息来提供融合后的目标置信度得分：