目标跟踪-SiameseFC

最近Siamese真的是遍地开花

SiameseFC算是Siamese网络的应用了把

SiameseFC是一个全卷积网络，因此他可以输入任意大小的图片

 

在tracking中我有上一帧的BBOX，我将被跟踪的目标切出来，通过SiameseFC获得特征小图A

对于当前帧，我通过SiameseFC获得特征图B，然后在B中找与A相似度最高的位置

对应到当前帧的位置就是我们目标跟踪的建议位置

 

网络结构如下

 

 

训练：

输入A，B，y

y表示A，B是否为同一类

具体训练方法与Siamese有所不同，这里是计算每一个对应点的相似度，这里随便用那种方法都行

这样就得到了一个相似度矩阵

他的平均值即为这两个地方的相似度

然后使用交叉熵作为loss即可

 

可以看到我们使用了每个点的相似度

这就为我们后续获取mask打下了基础