QATM: Quality-Aware Template Matching For Deep Learning

QATM: Quality-Aware Template Matching For Deep Learning

2020-04-27 11:50:16

Paper: https://arxiv.org/pdf/1903.07254.pdf 

Code: https://github.com/kamata1729/QATM_pytorch 

 

1. Background and Motivation:  

现有的模板匹配方法存在的问题是：当计算相似性的时候，template 和 candidate windows 内部的所有像素点都会被计算进去。但是这种计算方式，在很多情况下是不合适的，例如：when the background behind the object of interest changes between the template and the target image. 为了克服这个困难，BBS 的方法依赖于最近邻匹配来解决这个问题，所以其可以排除大部分的背景像素点以进行匹配。基于 BBS，又有 DDIS 的方法利用额外的形变信息，来改善匹配的性能。跟前人的工作不同，作者这里考虑到了 5 种不同的模板匹配场景，如表格 1 所示。

 

 

 

S 中的 最优的匹配区域 可以通过最大化总体匹配得分来找到。所以，作者提出优化如下得质量评估函数：

 

这样的话，S 中的区域 R 可以最大化匹配得分，就可以优化匹配区域了。R 是一个固定大小的候选窗口。

 

2. The Proposed Method：

为了使得 公式 1 的模型适合 模板匹配，我们需要定义 Quality(s, t)，即：如何评估匹配 s 和 t 的质量。

假设 fs 和 ft 是 patch  s 和 t 的特征表示。ρ 是两者之间相似度的度量方法，即: cosine similarity。给定一个搜索图像块 s，我们定义一个似然函数：

 

其中，alpha 是正的数。该似然函数可以看做是根据匹配质量，将当前 patch t 和所有 template image 之间的 patches 进行对比的 soft-ranking。也可以看做是一种 heated-up softmax embedding，其中 softmax activation layer 带有一个可学习的温度参数。

 

按照这种方式，我们可以定义 QATM measure 为：

 

任何合理的相似性度量 ρ 都可以用。一旦得到了 pairwise QATM results，一个 ROI s 的匹配得分就可以按照公式 4 进行计算：

 

其中 q(*) 表示匹配质量函数。最终，我们可以找到一个最优的匹配区域 R*，可以最大化总的匹配质量：