Learning Dynamic Query Combinations for Transformer-based Object** Detection and Segmentation论文阅读笔记
Motivation & Intro
基于DETR的目标检测范式(语义分割的Maskformer也与之相似)通常会用到一系列固定的query,这些query是图像中目标对象位置和语义的全局先验。如果能够根据图像的语义信息调整query,就可以捕捉特定场景中物体位置和类别的分布。例如,当高级语义显示图像是一张合影时,我们就知道图像中会有一群人(类别),而且他们更有可能靠近图像中心(定位)。由于检测查询是隐含特征,与 DETR 框架中的具体位置和对象类别没有直接关系,因此很难设计一种机制来更改查询,同时将其保持在对模型有意义的 "查询 "子空间内。同时,作者通过实验观察到,query的凸组合能够达到与原始的query相同的性能表现。为此,作者提出了modulated queries,同时将生成的query限制在static query所构成的凸包中。
Method
Fixed Query Combination
作者首先讨论了fixed query combination,具体包含三种setting,分别为凸组合、非凸组合以及平均组合。首先将n个query分为m组,每组包含\(\frac{n}{m}=r\)个query。对于凸组合,首先 在[-1,1]随机采样r个值,对其softmax作为加权系数对r个query进行组合得到结果。对于非凸组合,其同样要求加权系数和为1,与凸组合的区别在于不要求每个加权系数都为正。
实验结果表明凸组合是除了baseline以外最优的。
Dynamic Query Combinations
本节作者探讨了如何找到一种方法学习query的动态组合以替代加权系数的随机初始化。一种想法是直接将送入decoder的特征过一个mlp得到query,但实验证明这种方式效果不佳。受到动态卷积的启发,作者提出了query modulation,引入了两种query:basic query \(Q^B\in \mathbb{R}^{n\times f}\)以及\(Q^M\in\mathbb{R}^{m\times f}\),之前的组合公式可以表示为:
![截屏2024-01-11 15.36.06](https://lipoicyclic.oss-cn-beijing.aliyuncs.com/img/%E6%88%AA%E5%B1%8F2024-01-11%2015.36.06.png)
其中\(W^D\in\mathbb{R}^{m\times r}\)是组合系数矩阵。为了满足query的组合是凸的,要求\(w_{ij}^D\geq0,\sum_{j=1}^rw_{ij}^D=1\)。每r个basic query组合为一个modulated query。系数矩阵\(W^D\)通过将输入特征送入一个小的网络学习得到:
![截屏2024-01-11 16.01.16](https://lipoicyclic.oss-cn-beijing.aliyuncs.com/img/%E6%88%AA%E5%B1%8F2024-01-11%2016.01.16.png)
其中\(\mathcal{A}\)是GAP,\(\theta\)是一个MLP,\(\sigma\)是softmax函数。在训练时,\(Q^M\)和\(Q^B\)被同时送入decoder得到对应的预测结果,分别计算对应的匈牙利损失并相加;推理时只使用\(Q^M\)。因此,这种方式