【论文精读】On the Relationship Between Self-Attention and Convolutional Layers

【论文精读】On the Relationship Between Self-Attention and Convolutional Layers

作者: Jean-Baptiste Cordonnier, Andreas Loukas, Martin Jaggi
发表会议: ICLR 2020
论文地址: arXiv:1911.03584v2

目录

• 【论文精读】On the Relationship Between Self-Attention and Convolutional Layers
  • 1.Introduction
    • 1.1 文章解决的问题
    • 1.2 作者给出的回答
  • 2. Background
    • 2.1 Multi-head self-attention layers
    • 2.2 Attention for images
    • 2.3 Positional encoding for images
  • 3. 理论证明
  • 4. 实验
    • 4.1 Implement details
    • 4.2 Quadratic encoding
    • 4.3 Learned relative positional encoding
  • 5. 结论

1.Introduction

1.1 文章解决的问题

"Do self-attention layers process images in a similar manner to convolutional layers? "

self-attention层是否可以执行卷积层的操作？

1.2 作者给出的回答

• 理论角度：self-attention层可以表达任何卷积层。
• 实验角度：作者构造了一个fully attentional model，模型的主要部分是六层self-attention。结果表明，对于前几层self-attention，执行了与卷积层类似的操作。

2. Background

2.1 Multi-head self-attention layers

对于第t个query token，自注意力层的输出如下：

\[\operatorname{Self-Attention}(\boldsymbol{X})_{t,:}:=\operatorname{softmax}\left(\boldsymbol{A}_{t,:}\right) \boldsymbol{X} \boldsymbol{W}_{\text {val }}\\ \text{其中},\quad\boldsymbol{A}:=\boldsymbol{X} \boldsymbol{W}_{q r y} \boldsymbol{W}_{k e y}^{\top} \boldsymbol{X}^{\top} \]

• \(\boldsymbol{X} \in \mathbb{R}^{T \times D_{\text {in }}}\)：输入矩阵。\(T\) 个tokens，每个tokens都是 \(D_{i n}\) 维的向量

• \(\boldsymbol{W}_{q r y} \in \mathbb{R}^{D_{i n} \times D_k}\), \(\boldsymbol{W}_{\text {key }} \in \mathbb{R}^{D_{i n} \times D_k}\) , \(\boldsymbol{W}_{\text {val }} \in\) \(\mathbb{R}^{D_{\text {in }} \times D_{\text {out }}}\)：分别表示query，key和value的矩阵。

---

有时，我们需要给输入加上位置编码

\[\boldsymbol{A}:=(\boldsymbol{X}+\boldsymbol{P}) \boldsymbol{W}_{q r y} \boldsymbol{W}_{k e y}^{\top}(\boldsymbol{X}+\boldsymbol{P})^{\top} \]

• \(\boldsymbol{P} \in \mathbb{R}^{T \times D_{\text {in }}}\)：位置编码

---

有时，我们需要多头自注意力机制

\[\operatorname{MHSA}(\boldsymbol{X}):=\underset{h \in\left[N_h\right]}{\operatorname{concat}}\left[\operatorname{Self-Attention}_h(\boldsymbol{X})\right] \boldsymbol{W}_{\text {out }}+\boldsymbol{b}_{\text {out }} \]

• 在多头自注意力机制中，有\(N_h\)个头，每个头的输出是\(D_h\)维的向量，最终，\(N_h\)个\(D_h\)维的向量被映射到\(D_{\text {out }}\)维的输出向量上。
• \(\boldsymbol{W}_{\text {out }} \in \mathbb{R}^{N_h D_h \times D_{\text {out }}}\), \(\boldsymbol{b}_{\text {out }} \in \mathbb{R}^{D_{\text {out }}}\)：映射矩阵和偏置
• \(\underset{h \in\left[N_h\right]}{\operatorname{concat}}\left[\operatorname{Self-Attention}_h(\boldsymbol{X})\right]\)：将\(N_h\)个头的输出拼接在一起。每个头的输出维度是 \(T \times D_h\)，拼接后的总输出大小会变为 \(T \times\left(N_h \cdot D_h\right)\)。

2.2 Attention for images

一个“像素”的含义：例如在下图中，一个vector就是一个像素

给定图像向量 \(\mathbf{X} \in \mathbb{R}^{W \times H \times D_{i n}}\) ，其中宽度为 \(W\)，高度为 \(H\) ，通道数为 \(D_{i n}\) 。对于其中的像素 \((i, j)\)，卷积层的输出为

\[\operatorname{Conv}(\boldsymbol{X})_{i, j,:}:=\sum_{\left(\delta_1, \delta_2\right) \in \mathbb{\Delta}_K} \mathbf{X}_{i+\delta_1, j+\delta_2,:} \mathbf{W}_{\delta_1, \delta_2,:,:}+\boldsymbol{b} \]

其中 \(\mathbf{W}\) 是 \(K \times K \times D_{\text {in }} \times D_{\text {out }}\)大小的权重，\(\boldsymbol{b} \in \mathbb{R}^{D_{\text {out }}}\) 是偏置，

集合\(\Delta_K\)定义如下

\[\Delta_K:=\left[-\left\lfloor\frac{K}{2}\right\rfloor, \cdots,\left\lfloor\frac{K}{2}\right\rfloor\right] \times\left[-\left\lfloor\frac{K}{2}\right\rfloor, \cdots,\left\lfloor\frac{K}{2}\right\rfloor\right] \]

包含了 \(K \times K\) 卷积核中所有可能出现的偏移。

---

将一个像素看成一个token，就可以实现对图像的self-attention操作。

若 \(\boldsymbol{p}=(i, j)\), 那么将\(\mathbf{X}_{i, j,:}\) ，\(\mathbf{A}_{i, j,:,:}\) 分别记作 \(\mathbf{X}_{\boldsymbol{p},:}\) ， \(\mathbf{A}_{\boldsymbol{p},:}\)

\[\operatorname{Self-Attention}(\boldsymbol{X})_{\boldsymbol{q},:}=\sum_{\boldsymbol{k}} \operatorname{softmax}\left(\mathbf{A}_{\boldsymbol{q},:}\right)_{\boldsymbol{k}} \mathbf{X}_{\boldsymbol{k},:} \boldsymbol{W}_{\text {val }} \]

• \(\boldsymbol{q}\)：query的像素
• \(\boldsymbol{k}\)：key的像素

2.3 Positional encoding for images

有两种位置编码，分别是绝对位置编码和相对位置编码。

• 绝对位置编码：每个像素 \(\boldsymbol{p}\)都对应着一个位置编码 \(\mathbf{P}_{\boldsymbol{p}, \text { : }}\) ，绝对位置编码的注意力分数如下：
  \[\begin{aligned} \mathbf{A}_{q, \boldsymbol{k}}^{\mathrm{abs}}&=\left(\mathbf{X}_{q,:}+\mathbf{P}_{q,:}\right) \boldsymbol{W}_{q r y} \boldsymbol{W}_{k e y}^{\top}\left(\mathbf{X}_{k,:}+\mathbf{P}_{k,:}\right)^{\top} \\ & =\mathbf{X}_{q,:} \boldsymbol{W}_{q r y} \boldsymbol{W}_{k e y}^{\top} \mathbf{x}_{k,:}^{\top}+\mathbf{X}_{q,:} \boldsymbol{W}_{q r y} \boldsymbol{W}_{k e y}^{\top} \mathbf{P}_{k,:}^{\top}+\mathbf{P}_{q,:} \boldsymbol{W}_{q r y} \boldsymbol{W}_{k e y}^{\top} \mathbf{X}_{k,:}+\mathbf{P}_{q,:} \boldsymbol{W}_{q r y} \boldsymbol{W}_{k e y}^{\top} \mathbf{P}_{\boldsymbol{k},:} \end{aligned} \]

---

• 相对位置编码：只算query像素和key像素之间的位置差\(\boldsymbol{\delta}:=\boldsymbol{k}-\boldsymbol{q}\)，每个\(\boldsymbol{\delta}\)都有对应一个位置编码\(\boldsymbol{r}_{\boldsymbol{\delta}}\)。相对位置编码的注意力分数如下：

  \[\mathbf{A}_{\boldsymbol{q}, \boldsymbol{k}}^{\mathrm{rel}}:=\mathbf{X}_{\boldsymbol{q},:}^{\top} \boldsymbol{W}_{q r y}^{\top} \boldsymbol{W}_{k e y} \mathbf{X}_{k,:}+\mathbf{X}_{\boldsymbol{q},:}^{\top} \boldsymbol{W}_{q r y}^{\top} \widehat{\boldsymbol{W}}_{k e y} \boldsymbol{r}_{\boldsymbol{\delta}}+\boldsymbol{u}^{\top} \boldsymbol{W}_{k e y} \mathbf{X}_{k,:}+\boldsymbol{v}^{\top} \widehat{\boldsymbol{W}}_{k e y} \boldsymbol{r}_{\boldsymbol{\delta}} \]
  • \(\boldsymbol{u}\) ， \(\boldsymbol{v}\) ：是需要学习的两个向量，每个头都对应着一组 \(\boldsymbol{u}\) ， \(\boldsymbol{v}\)
  • \(\boldsymbol{r}_{\boldsymbol{\delta}} \in \mathbb{R}^{D_p}\)：\({D_p}\)维的相对位置编码，所有的头共享一个\(\boldsymbol{r}_{\boldsymbol{\delta}}\)
  • \(\boldsymbol{W}_{k e y}\)，\(\widehat{\boldsymbol{W}}_{k e y}\)：\(\boldsymbol{W}_{k e y}\)是输入的权重，\(\widehat{\boldsymbol{W}}_{k e y}\)是相对位置编码的权重

3. 理论证明

结论：

\(N_h\) 个头、每个头的输出是 \(D_h\)维、 最终的输出是 \(D_{\text {out }}\) 维、相对位置编码维度\(D_p \geq 3\)的多头自注意力层，可以表示任意 卷积核大小是\(\sqrt{N_h} \times \sqrt{N_h}\)、输出通道数是\(\min \left(D_h, D_{\text {out }}\right)\)的卷积层。

• 引理1概述：对于大小为 \(K \times K\) 的卷积核，其偏移位置可以表示为\(\Delta_K=\) \(\{-\lfloor K / 2\rfloor, \ldots,\lfloor K / 2\rfloor\}^2\) 。如果我们让每个头只关注卷积核中的一个偏移位置，那么\(K^2\)个头就可以模拟整个卷积核。

---

• 引理2概述：存在这样的相对位置编码，使得每个头只关注卷积核中的一个偏移位置。

  论文中，相对位置编码可以自己构造，也可以用模型来学习。

  自己构造的相对位置编码叫做quadratic encoding,其中

  \[\boldsymbol{v}^{(h)}:=-\alpha^{(h)}\left(1,-2 \boldsymbol{\Delta}_1^{(h)},-2 \boldsymbol{\Delta}_2^{(h)}\right) \quad \boldsymbol{r}_{\boldsymbol{\delta}}:=\left(\|\boldsymbol{\delta}\|^2, \boldsymbol{\delta}_1, \boldsymbol{\delta}_2\right) \quad \boldsymbol{W}_{q r y}=\boldsymbol{W}_{\text {key }}:=\mathbf{0} \quad \widehat{\boldsymbol{W}_{k e y}}:=\boldsymbol{I} \]

  参数 \(\boldsymbol{\Delta}^{(h)}=\left(\boldsymbol{\Delta}_1^{(h)}, \boldsymbol{\Delta}_2^{(h)}\right)\) 表示每个头应该关注哪个偏移位置，参数 \(\alpha^{(h)}\) 表示除了应该关注的偏移位置之外，是否还要关注其他偏移位置，\(\boldsymbol{\Delta}^{(h)},\alpha^{(h)}\)都是可学习的参数。同时, \(\boldsymbol{\delta}=\left(\boldsymbol{\delta}_1, \boldsymbol{\delta}_2\right)\) 表示query像素和key像素的相对偏移，是固定的。

建议看完引理1和引理2的证明之后再来回看引理1概述和引理2概述，会有不一样的理解

---

• padding：self-attention 层默认使用SAME填充，即输入维度和输出维度相等。对于卷积，只需要令\(padding = \lfloor K / 2\rfloor\)，其中卷积核大小为\(K\times K\)，即可同样实现SAME填充。

• stride：在self-attention层后面加上一个池化层，就可以模拟任何stride的卷积。

• 空洞卷积：人为的设置self-attention中每个注意力头的关注中心\(\boldsymbol{\Delta}^{(h)}\)，就可以模拟任何空洞卷积。

---

引理1：

考虑这样一个多头注意力层：有\(N_h=K^2\) 个头，且 \(D_h \geq D_{\text {out }}\)。令 \(\boldsymbol{f}:\left[N_h\right] \rightarrow \Delta_K\) 是一个双射。假设对于每个头来说，都有

\[\operatorname{softmax}\left(\boldsymbol{A}_{\boldsymbol{q},:}^{(h)}\right)_{\boldsymbol{k}}= \begin{cases}1 & \text { if } \boldsymbol{f}(h)=\boldsymbol{q}-\boldsymbol{k} \\ 0 & \text { otherwise. }\end{cases} \]

那么,对卷积核大小为 \(K \times K\) ，输出通道数为 \(D_{\text {out }}\) 的任意卷积层，存在\(\left\{\boldsymbol{W}_{\text {val }}^{(h)}\right\}_{h \in\left[N_h\right]}\) ，使得 \(\operatorname{MHSA}(\boldsymbol{X})=\operatorname{Conv}(\boldsymbol{X})\)对任意 \(\boldsymbol{X} \in \mathbb{R}^{W \times H \times D_{i n}}\)成立。

• 如何理解 \(\operatorname{softmax}\left(\boldsymbol{A}_{\boldsymbol{q},:}^{(h)}\right)_{\boldsymbol{k}}= \begin{cases}1 & \text { if } \boldsymbol{f}(h)=\boldsymbol{q}-\boldsymbol{k} \\ 0 & \text { otherwise. }\end{cases}\)：

  前面我们说过，要让每个头只关注卷积核中的一个偏移位置。因此，我们可以构建一个映射\(\boldsymbol{f}\)，规定哪个头关注哪个偏移位置。例如，\(f(1)\)表示第1个头应该关注哪个偏移位置，\(f(2)\)表示第2个头应该关注哪个偏移位置。

  对于第1个头来说，当query像素\(\boldsymbol{q}\)和key像素\(\boldsymbol{k}\)的相对偏移为\(f(1)\)时，\(\boldsymbol{q}\)和\(\boldsymbol{k}\)的相关性概率为1；当\(\boldsymbol{q}\)和\(\boldsymbol{k}\)的相对偏移不是\(f(1)\)时，相关性概率为0。

  将上面的过程用公式表示出来，就是

  \[\operatorname{softmax}\left(\boldsymbol{A}_{\boldsymbol{q},:}^{(h)}\right)_{\boldsymbol{k}}= \begin{cases}1 & \text { if } \boldsymbol{f}(h)=\boldsymbol{q}-\boldsymbol{k} \\ 0 & \text { otherwise. }\end{cases} \]

---

• 引理1的证明：

  我们将多头自注意力的公式表示为以下形式：

  \[\operatorname{MHSA}(\boldsymbol{X})=\boldsymbol{b}_{\text {out }}+\sum_{h \in\left[N_h\right]} \operatorname{softmax}\left(\boldsymbol{A}^{(h)}\right) \boldsymbol{X} \underbrace{\boldsymbol{W}_{\text {val }}^{(h)} \boldsymbol{W}_{\text {out }}\left[(h-1) D_h+1: h D_h+1\right]}_{\boldsymbol{W}^{(h)}} \]

  可以将\(\boldsymbol{W}_{\text {val }}^{(h)} \boldsymbol{W}_{\text {out }}\left[(h-1) D_h+1: h D_h+1\right]\)合并为\(\boldsymbol{W}^{(h)}\).

  对于像素\(\boldsymbol {q}\)来说，公式变为

  \[\operatorname{MHSA}(\boldsymbol{X})_{\boldsymbol{q},:}=\sum_{h \in\left[N_h\right]}\left(\sum_{\boldsymbol{k}} \operatorname{softmax}\left(\mathbf{A}_{\boldsymbol{q},:}^{(h)}\right)_{\boldsymbol{k}} \mathbf{X}_{\boldsymbol{k},:}\right) \boldsymbol{W}^{(h)}+\boldsymbol{b}_{\text {out }} \]

  由于引理1中的条件, 对于第\(h\)个头 ，当且仅当\(\boldsymbol{k}\)和\(\boldsymbol{q}\)的相对偏移为\(f(h)\)时，相关性概率为 1，因此有

\[ \operatorname{MHSA}(\mathbf{X})_{\boldsymbol{q}}=\sum_{h \in\left[N_h\right]} \mathbf{X}_{\boldsymbol{q}-\boldsymbol{f}(h),:} \boldsymbol{W}^{(h)}+\boldsymbol{b}_{\text {out }} \]

卷积层的公式为

\[ \operatorname{Conv}(\boldsymbol{X})_{i, j,:}:=\sum_{\left(\delta_1, \delta_2\right) \in \mathbb{\Delta}_K} \mathbf{X}_{i+\delta_1, j+\delta_2,:} \mathbf{W}_{\delta_1, \delta_2,:,:}+\boldsymbol{b} \]

此时若\(K=\sqrt{N_h}\)，\(\boldsymbol{q} = (i,j)\)，\(\boldsymbol{b}_{\text {out }} = \boldsymbol{b}\)，

则有

\[ \operatorname{MHSA}(\mathbf{X})_{\boldsymbol{q}} =\operatorname{Conv}(\boldsymbol{X})_{\boldsymbol{q}} \]

其中\(\boldsymbol{W}^{(h)}\)和\(\mathbf{W}_{\delta_1, \delta_2,:,:}\)一一对应。

---

• \(D_h\) 和 \(D_{\text {out }}\)：对于被self-attention表示的卷积，其输出通道是\(\min \left(D_h, D_{\text {out }}\right)\)。因此，我们可以令\(D_h = D_{\text {out }}\)，来防止\(D_h\)或者\(D_{out}\)的浪费。

---

引理2：存在一种相对编码方案 \(\left\{\boldsymbol{r}_{\boldsymbol{\delta}} \in \mathbb{R}^{D_p}\right\}_{\boldsymbol{\delta} \in \mathbb{Z}^2}\) ，其中维度 \(D_p \geq 3\) ，以及一组参数\(\boldsymbol{W}_{\text {qry }}, \boldsymbol{W}_{\text {key }}, \widehat{\boldsymbol{W}}_{\text {key }}, \boldsymbol{u}\) ，其中 \(D_p \leq D_k\) ，使得对于任意 \(\boldsymbol{\Delta} \in \boldsymbol{\Delta}_K\) ，都存在向量 \(\boldsymbol{v}\) ( \(\boldsymbol{v}\) 取决于\(\boldsymbol{\Delta})\) 可以满足条件 \(\operatorname{softmax}\left(\boldsymbol{A}_{\boldsymbol{q},:}^{(h)}\right)_{\boldsymbol{k}}= \begin{cases}1 & \text { if } \boldsymbol{q}-\boldsymbol{k} = \boldsymbol{\Delta} \\ 0 & \text { otherwise. }\end{cases}\)

• 引理2的证明：构造了一种维度\(D_p=3\)的相对位置编码

  我们令\(\boldsymbol{W}_{k e y}=\boldsymbol{W}_{q r y}=\mathbf{0}\) ，\(\widehat{\boldsymbol{W}}_{\text {key }} \in \mathbb{R}^{D_k \times D_p}\) 为单位矩阵。根据相对位置编码公式，有 \(\mathbf{A}_{\boldsymbol{q}, \boldsymbol{k}}=\boldsymbol{v}^{\top} \boldsymbol{r}_{\boldsymbol{\delta}}\) ，其中 \(\boldsymbol{\delta}:=\boldsymbol{k}-\boldsymbol{q}\)。

  假设可以把\(\mathbf{A}_{\boldsymbol{q}, \boldsymbol{k}}\)写成如下形式：

  \[\mathbf{A}_{\boldsymbol{q}, \boldsymbol{k}}=-\alpha\left(\|\boldsymbol{\delta}-\boldsymbol{\Delta}\|^2+c\right) \]

  其中 \(c\)为常数.

  在上面的式子中，\(\mathbf{A}_{\boldsymbol{q}, \boldsymbol{k}}\)的值主要取决于\(-\alpha c\)，当 \(\boldsymbol{\delta}=\boldsymbol{\Delta}\)时，\(\mathbf{A}_{\boldsymbol{q}, \boldsymbol{k}} = -\alpha c\)。

  因此，\(-\alpha c\)可以理解为缩放\(\mathbf{A}_{q, \Delta}\)和其他注意力分数之间差距参数。

  （\(\mathbf{A}_{q, \Delta}\)和其他注意力分数的差距为\(-\alpha\|\boldsymbol{\delta}-\boldsymbol{\Delta}\|^2\)，当\(-\alpha c\)很大时，\(-\alpha\|\boldsymbol{\delta}-\boldsymbol{\Delta}\|^2\)占的比例很小，因此可以说，\(\mathbf{A}_{q, \Delta}\)和其他注意力分数的差距不大。 反之，\(-\alpha c\)很小时，\(-\alpha\|\boldsymbol{\delta}-\boldsymbol{\Delta}\|^2\)占的比例很大，\(\mathbf{A}_{q, \Delta}\)和其他注意力分数的差距很大。）

  当 \(\boldsymbol{\delta}=\boldsymbol{\Delta}\)时， 有

  \[\begin{aligned} \lim _{\alpha \rightarrow \infty} \operatorname{softmax}\left(\mathbf{A}_{\boldsymbol{q},:}\right)_{\boldsymbol{k}} & =\lim _{\alpha \rightarrow \infty} \frac{e^{-\alpha\left(\|\boldsymbol{\delta}-\boldsymbol{\Delta}\|^2+c\right)}}{\sum_{\boldsymbol{k}^{\prime}} e^{-\alpha\left(\left\|\left(\boldsymbol{k}-\boldsymbol{q}^{\prime}\right)-\boldsymbol{\Delta}\right\|^2+c\right)}} \\ & =\lim _{\alpha \rightarrow \infty} \frac{e^{-\alpha\|\boldsymbol{\delta}-\boldsymbol{\Delta}\|^2}}{\sum_{\boldsymbol{k}^{\prime}} e^{-\alpha\left\|\left(\boldsymbol{k}-\boldsymbol{q}^{\prime}\right)-\boldsymbol{\Delta}\right\|^2}}=\frac{1}{1+\lim _{\alpha \rightarrow \infty} \sum_{\boldsymbol{k}^{\prime} \neq \boldsymbol{k}} e^{-\alpha\left\|\left(\boldsymbol{k}-\boldsymbol{q}^{\prime}\right)-\boldsymbol{\Delta}\right\|^2}}=1 \end{aligned} \]

  对于 \(\boldsymbol{\delta} \neq \boldsymbol{\Delta}\)，有 \(\lim _{\alpha \rightarrow \infty} \operatorname{softmax}\left(\mathbf{A}_{\boldsymbol{q},:}\right)_{\boldsymbol{k}}=0\)。

  因此，当\(\alpha \to \infty\)时，恰好满足引理2中的条件。

  那么是否存在\(\boldsymbol{v},\ \boldsymbol{r}_{\boldsymbol{\delta}}\)，使得\(\mathbf{A}_{\boldsymbol{q}, \boldsymbol{k}}=\boldsymbol{v}^{\top} \boldsymbol{r}_{\boldsymbol{\delta}} = -\alpha\left(\|\boldsymbol{\delta}-\boldsymbol{\Delta}\|^2+c\right)\)呢？

  我们有\(-\alpha\left(\|\boldsymbol{\delta}-\boldsymbol{\Delta}\|^2+c\right)=-\alpha\left(\|\boldsymbol{\delta}\|^2+\|\boldsymbol{\Delta}\|^2-2\langle\boldsymbol{\delta}, \boldsymbol{\Delta}\rangle+c\right)\)。

  现在我们令\(\boldsymbol{v}=-\alpha\left(1,-2 \boldsymbol{\Delta}_1,-2 \boldsymbol{\Delta}_2\right)\) ，以及 \(\boldsymbol{r}_{\boldsymbol{\delta}}=\left(\|\boldsymbol{\delta}\|^2, \boldsymbol{\delta}_1, \boldsymbol{\delta}_2\right)\), 那么

  \[\mathbf{A}_{\boldsymbol{q}, \boldsymbol{k}}=\boldsymbol{v}^{\top} \boldsymbol{r}_{\boldsymbol{\delta}}=-\alpha\left(\|\boldsymbol{\delta}\|^2-2 \boldsymbol{\Delta}_1 \boldsymbol{\delta}_1-2 \boldsymbol{\Delta}_2 \boldsymbol{\delta}_2\right)=-\alpha\left(\|\boldsymbol{\delta}\|^2-2\langle\boldsymbol{\delta}, \boldsymbol{\Delta}\rangle\right)=-\alpha\left(\|\boldsymbol{\delta}-\boldsymbol{\Delta}\|^2-\|\boldsymbol{\Delta}\|^2\right) \]

  其中 常数\(c=-\|\boldsymbol{\Delta}\|^2\) 。

  至此，我们成功找到了\(\boldsymbol{v},\ \boldsymbol{r}_{\boldsymbol{\delta}}\)，使得\(\mathbf{A}_{\boldsymbol{q}, \boldsymbol{k}}=\boldsymbol{v}^{\top} \boldsymbol{r}_{\boldsymbol{\delta}} = \alpha\left(\|\boldsymbol{\delta}-\boldsymbol{\Delta}\|^2+c\right)\)。

• \(\alpha\)：理论上，\(\alpha\)应该是无穷大。但在实际中，其他像素的注意力概率会随着\(\alpha\)的增长以指数形式趋近于 0，因此，如果32位浮点数的下界是\(10^{-45}\)，那么只需要令\(\alpha = 46\)就能满足要求。

• 根据上面所说，当\(\boldsymbol{\Delta}^{(h)}\)一一对应于\(\Delta_K\)中的元素,且\(\alpha^{(h)}\ge 46\)时，注意力层可以完美模拟卷积层。那么，为什么将\(\boldsymbol{\Delta}^{(h)}=\left(\boldsymbol{\Delta}_1^{(h)}, \boldsymbol{\Delta}_2^{(h)}\right)\)和\(\alpha^{(h)}\)设置成可学习的？

  让模型自主学习，可以取得更好得泛化效果。在实验中可以看到，在自主学习\(\boldsymbol{\Delta}^{(h)}\)和\(\alpha^{(h)}\)后，模型既可以执行卷积操作；又可以执行卷积所不能执行的操作，是对卷积层的一般化。

4. 实验

4.1 Implement details

fully attentional model模型：

• fully attentional model包含 6 层多头自注意力层，每层有 9 个注意力头，模拟 3×3 卷积核的局部性。
• 每层使用二次位置编码或学习位置编码，以捕捉空间信息。
• 此外，模型在输入图像上进行 2×2 下采样，以减少计算量。
• 最后一层通过平均池化汇总特征，并送入线性分类器进行预测。
• 在部分实验中还加入了内容自适应注意力，使注意力得分根据像素内容进行自适应调整。

下面是fully attentional model和CIFAR-10上与ResNet18的比较

fully attentional model比ResNet18慢，不知道是代码优化的问题还是架构的问题。作者相信通过优化，二者的性能差距可以被抹平。

4.2 Quadratic encoding

每个多头自注意力层有 9 个注意力头，每个头关注的中心位置初始化为\(\boldsymbol{\Delta}^{(h)} \sim \mathcal{N}\left(\mathbf{0}, 2 \boldsymbol{I}_2\right)\)

下图是第4层多头自注意力层中，每个头的\(\boldsymbol{\Delta}^{(h)}\)结果（每种颜色代表一个头的$$\boldsymbol{\Delta}^{(h)}$$）。可以看到，9个头合在一起确实可以模拟卷积层。

图4是训练结束之后，各个层中，每个头的\(\boldsymbol{\Delta}^{(h)}\)。前几层中，注意力头倾向于关注局部模式，而更深的层则倾向于关注更大的模式。

4.3 Learned relative positional encoding

让模型自主学习相对位置编码时，query像素的相关性得分如下（红色越深代表得分越高）

可以发现

• 有类似卷积的操作：第1，第2和第3层中的某些头关注单个像素，与引理 1 非常吻合。
• 也可以执行卷积不能执行的操作：其他头会关注水平对称的模式，以及长距离像素间的相关性。

此外，作者还加入了基于内容的注意力机制(content-based attention)。当content-based attention与模型自主学习的相对位置编码结合后，相关性得分如下：

可以发现：

• 有类似卷积的操作：即使加入了content-based attention，2，3层中的某些头也只是利用相对位置来计算相关性，就像卷积核的感受野一样，利用相对位置计算。
• 也可以执行卷积不能执行的操作：其他头使用了更多的基于内容的注意力。

5. 结论

• 理论上：头部数量足够时，self-attention可以表示任意的卷积层。
• 实验： fully attentonal model既可以学习像卷积层一样学习局部模式，也可以学习全局模式。因此fully attentonal model是一般化的CNN。
• 未来工作方向：将CNN中的观点应用到transformer上。