三、Self-Attn 与 Deformable-Attn

1、Deformable Attention 的理解

    Deforable Attention，是Deforable DETR 架构中使用的一个注意力模块，与传统Transformer 查询所有空间位置不同，Deformable Attention 只关注 参考点（reference Points） 附近的一组关键采样点，无需考虑特征图的大小。

2、单尺度的 Deformable Attention

    首先给出 MultiHead Attn 和 Deformable Attn 的公式，对于给定输入特征图 $x \in \mathbb{R}^{C \times H \times W}$，有：

$$\begin{aligned} MultiHeadAttn(z_q, x) = \sum_{m=1}^M W_m [\sum_{k\in \Omega_k} A_{mqk}\cdot W_m^{'} x_k] \end{aligned}$$

    在 Self Attn 中，$m$ 表示多头注意力中的第 $m$ 个头，$z \in \mathbb{R}^{C \times H \times W}$ 为 $query$ 的输入特征, 可分解为$N \times W$ 个 $z_q \in \mathbb{R}^{C}$。 $x \in \mathbb{R}^{C \times H \times W}$ 是 $key$ 和 $value$ 的输入特征, 可分解为$N \times W$ 个 $x_k \in \mathbb{R}^{C}$。 $q$ 是 $query$ 的索引，$k$ 是 $key$ 的索引。
    $W_m^{'} \in \mathbb{R}^{C_v \times C}$ (其中$C_v = C/M$，分为多头) 是输入特征 $x_k$ 到 $value$ 的转移矩阵(通常和生成 $query$ 方式一样，也是线性变换)，$W_m \in \mathbb{R}^{C_v \times C}$ 是对注意力施加在 $value$ 后的结果进行线性变换从而得到不同头部的输出结果。

$$\begin{aligned} DeformAttn(z_q, p_q, x) = \sum_{m=1}^M W_m [{\color{blue}{\sum_{k=1}^K}} A_{mqk}\cdot W_m^{'} x({\color{red}{p_q + \Delta p_{mqk}}})] \end{aligned}$$

    对比下这两个公式，在 MultiHeadAttn 中:

    红色部分，$p_q \in \mathbb{R}^2$ 代表 $z_q$ 的位置，即参考点 (reference points)， $\Delta p_{mqk} \in \mathbb{R}^2$ 表示第 $m$ 个注意力头中的第 $k$ 个采样集合点相对参考点的位置偏移(offsets)。

    蓝色部分， $K$ 表示采样的 $key$ 的总数，$k \in [1,K](K<<HW)$， 即每个 $query$ 在每个注意力头中采样 $K$ 个位置，只需要和这些位置的特征进行交互，不需要和 Transformer 一样从全局位置开始学习才能逐步关注到局部、稀疏的位置。$x(p_q + \Delta p_{mqk})$ 即为基于采样点通过 双线性插值（bilinear interpolation） 转为 $feature$ $map$ 上的特征点得到的 $value$。

    其中,位置偏移 $\Delta p_{mqk}$ 是可学习的，由 $query$ 特征 $z_q \in \mathbb{R}^C$ 经过全连接层得到，注意力权重同样由 $query$ 特征 $z_q \in \mathbb{R}^C$ 通过全连接层得到，同时在 $K$ 个采样点之间归一化，而非像 Transformer 是由 $query$ 与 $key$ 交互计算得出的, $A_{mpk} \in [0,1]$，并且 $\sum_{k=1}^K A_{mqk}=1$.

TODO

3、多尺度的 Deformable Attention

4、源码注释