随笔- 346 文章- 0 评论- 9 阅读- 16万

Transformer、VIT、swin transformer

Transformer：https://blog.csdn.net/qq_37541097/article/details/117691873，总结：

Self-Attention：输入n个向量，每个向量得到一组(q,k,v)，通过Attention(Q, K,V)将不同向量的(q,k,v)进行相互联系，最后就得到了n个输出。
Multi-Head Attention：Multi-Head就是将每个向量得到的(q,k,v)分为多份（多头）

VIT：自然语言中使用Transformer，需要将自然语言编码成特征向量，最后输入到使用Multi-Head Attention组织的网络中。
在图像中，就是利用卷积网络进行特征提取，从而将图像编码成特征向量，最后输入到使用Multi-Head Attention组织的网络中。

Swin-Transformer：这个网络好像没有像VIT中一样，用到了很多的cnn结构？？

【问题】为什么说transformer计算量比CNN大？

Transformer

参考：https://blog.csdn.net/qq_37541097/article/details/117691873

self-Attention

首先介绍self-Attention:

变量说明：

$x_{i}$ 经过 $f (x)$ 变成了 $a_{i}$ ， $a_{i}$ 为一个向量，
$Q$ 是 $q^{i}$ 为行组成的矩阵，即 $[\begin{matrix} q^{1} \\ q^{2} \end{matrix}]$
$K$ 是 $k^{i}$ 为行组成的矩阵，即 $[\begin{matrix} k^{1} \\ k^{2} \end{matrix}]$
$V$ 是 $v^{i}$ 为行组成的矩阵，即 $[\begin{matrix} v^{1} \\ v^{2} \end{matrix}]$
$s o f t m a x (\frac{Q K^{T}}{\sqrt{d_{k}}}) V$ 中的乘法都是点积。
除以 $\sqrt{d_{k}}$ 的原因在论文中的解释是“进行点乘后的数值很大，导致通过softmax后梯度变的很小”，所以通过除以 $\sqrt{d_{k}}$ 来进行缩放。

$s o f t m a x (\frac{Q K^{T}}{\sqrt{d_{k}}}) V$ 说明：

$Q K^{T}$ 的i行都代表 $q^{i}$ 与每个k之间的匹配程度，将 $Q K^{T}$ 的每一行都通过一个softmax函数，从而让 $Q K^{T}$ 的每行之和为一。
$s o f t m a x (\frac{Q K^{T}}{\sqrt{d_{k}}})$ 的每一行都是一组权重， $s o f t m a x (\frac{Q K^{T}}{\sqrt{d_{k}}}) V$ 的每一行都是每个 $v$ 乘以权重后相加的结果，每一组权重生成 $s o f t m a x (\frac{Q K^{T}}{\sqrt{d_{k}}}) V$ 的一行。
$V$ 中的每个 $v$ 都是代表对某个a提取的各种信息，而 $s o f t m a x (\frac{Q K^{T}}{\sqrt{d_{k}}}) V$ 的每一行整合了所有 $v$ 的信息，所以 $s o f t m a x (\frac{Q K^{T}}{\sqrt{d_{k}}}) V$ 的每一行的意义应该和卷积网络中的一个通道一样的，因为卷积网络中的每个通道也都是集合了输入的图片的所有信息。
【问题】那么transformer与卷积网络的区别是什么呢？
答：我认为在卷积网络中像素点之间的是没有乘法的，而在transformer中像素点之间是有乘法的，这就让模型的表达能力更强，但是由于像素点之间存在乘法，就会导致反向传播的时候，更新参数比较“乏力”，所以transformer需要更多的数据喂入。

Multi-Head Attention

定义：Multi-Head就是将每个向量得到的(q,k,v)分为多份（多个head），每个head进行self-Attention操作。多个head产生多个输出，将这个多个输出进行拼接和映射操作（通过一个全连接）得到最终输出。具体见链接

计算量：由于Multi-Head Attention每个head的维数减少，总计算成本与self-Attention相似。当去掉Multi-Head Attention最后的映射操作，则Multi-Head Attention的计算量和self-Attention一样。

位置编码：由于输入的 $a^{i}$ 的顺序也是很重要的指标，必须将顺序也进行输入，如下：

$p e_{i}$ 和 $a_{i}$ 的维度是一样的所以可以相加。关于位置编码（ $p e_{i}$ ）在原论文中有提出两种方案，一种是原论文中使用的固定编码，即论文中给出的sine and cosine functions方法，按照该方法可计算出位置编码；另一种是可训练的位置编码，作者说尝试了两种方法发现结果差不多（但在ViT论文中使用的是可训练的位置编码）。