论文笔记：Parallel Tracking and Verifying: A Framework for Real-Time and High Accuracy Visual Tracking

Parallel Tracking and Verifying: A Framework for Real-Time and High Accuracy Visual Tracking 

 

本文目标在于 tracking performance 和 efficiency 之间达到一种平衡。将 tracking 过程分解为两个并行但是相互协作的部分：

　　一个用于快速的跟踪（fast tracking）；

　　另一个用于准确的验证（accurate verification）。 

　　

本文的 Motivation 主要是：

　　1. 大部分跟踪的序列，都是比较平坦简单的，但是存在有些非常具有挑战性的片段的存在，使得跟踪的结果不是非常的好。如果处理不好，还会导致跟踪的丢失。本文利用 verifiers 将进行这些关键点的处理。

　　2. 计算机视觉当中多线程计算已经非常普遍，特别是 SLAM。By splitting tracking and mapping into two parallel threads, PTAM (parallel tracking and mapping) [23] provides one of the most popular SLAM frameworks with many important extensions.   

　　3. 最近快速、准确的跟踪算法提供了有效的 building blocks，并且鼓励我们去寻找组合的解决方法（呵呵了。。。）

 

 

 

创新点：

　　1. we propose to build real-time high accuracy trackers in a novel framework named parallel tracking and verifying (PTAV). 

　　2. The key idea is : while T needs to run on every frame, V does not. As a general framework, PTAV allows the coordination between the tracker and the verifier: V checks the
tracking results provided by T and sends feedback to V; and V adjusts itself according to the feedback when necessary. By running T and V in parallel, PTAV inherits both the high
efficiency of T and the strong discriminative power of V.

 

==========　　分割线　　=========

 ======== 以上是 PTAV framework 的流程图，也是两个 tracker 和 verifiers 之间互相协助的过程。 

PTAV Implementation：

1. Tracking 的过程就是利用了 fDSST 跟踪算法，没啥好说的；但是不同的是， the tracker in this paper，存储了所有的中间结果，since sending out last verification request to ensure fast tracing back. 

2. Verifying 是采用了 Siamese network。

　　==>> 当从 tracking 过程中得到的跟踪结果，如果其验证得分低于一个阈值，那么 V 就认为该跟踪结果不可靠，或者说认为已经跟踪失败了。

　　此时，V 利用Siamese network，在进行一次检测。具体做法就是利用 region pooling layer 进行一次前传，然后得到许多候选的样本，然后从中选择最好的那个作为检测的结果：

　　

　　当有了这些检测结果之后，我们在进行一次 check，确认下检测结果是否可信？ 其实就是根据检测的置信度和某一阈值进行比较，如果不符合要求，就放大搜索区域，进行再一次的搜索。 

　　

 

============================= 算法部分完毕

 实验结果：

 

 想想真可怕，作者居然不辞劳苦的跑了四个数据集。。。