transformer相关变体

transformer综述：https://arxiv.org/pdf/2009.06732.pdf

transformer:Attention Is All You Need

基本构成：编码器+解码器
基本组件：

• 输入层：词嵌入+位置编码
• 隐含层：多头注意力机制、残差连接、前馈神经网络、层归一化
• 输出层：全连接+softmax
  解码器和编码器的结构是大致相同的，但也有所区别：
• q,k,v的来源不一样：交叉注意力机制
• masked多头注意力机制
  其它变体：
  

下面是一些变体的简介：

transformer-xl：Attentive Language Models Beyond a Fixed-Length Context

主要解决长序列的问题。
transformer存在的问题：

• 1）因为segments之间独立训练，所以不同的token之间，最长的依赖关系，就取决于segment的长度；2）出于效率的考虑，在划分segments的时候，不考虑句子的自然边界，而是根据固定的长度来划分序列，导致分割出来的segments在语义上是不完整的。

改进方法：

• 在对当前segment进行处理的时候，缓存并利用上一个segment中所有layer的隐向量序列，而且上一个segment的所有隐向量序列只参与前向计算，不再进行反向传播，这就是所谓的segment-level Recurrence。
• 采用相对位置编码，在计算当前位置隐向量的时候，考虑与之依赖token的相对位置关系。具体操作是，在算attention score的时候，只考虑query向量与key向量的相对位置关系，并且将这种相对位置关系，加入到每一层Trm的attention的计算中。

Compressive Transformers for Long-Range Sequence Modelling

基于transformer-XL 方法进行改进，通过压缩memory 使得模型可以处理更长的序列。

Sparse Transformer: Concentrated Attention Through Explicit Selection

vanilla Transformer对很多不相关的单词给予了很高的重视，而Sparse Transformer则集中在最相关的k个单词上。

Image Transformer

受卷积神经网络启发的Transformer变种，重点是局部注意范围，即将接受域限制为局部领域。

Longformer: The Long-Document Transformer

Sparse Transformer的变体，通过在注意力模式中留有空隙、增加感受野来实现更好的远程覆盖。

Etc: Encoding long and structured data in transformers

Sparse Transformer的变体，引入了一种新的全局本地注意力机制。

Big Bird: Transformers for Longer Sequences

与Longformer一样，同样使用全局内存，但不同的是，它有独特的“内部变压器构造（ITC）”，即全局内存已扩展为在sequence中包含token，而不是简单的参数化内存。

Efficient content-based sparse attention with routing transformers

提出了一种基于聚类的注意力机制，以数据驱动的方式学习稀疏注意力。

Reformer: The efficient transformer

一个基于局部敏感哈希（LSH）的注意力模型，引入了可逆的Transformer层，有助于进一步减少内存占用量

Sparse sinkhorn attention

这个模型属于分块模型，以分块的方式对输入键和值进行重新排序，并应用基于块的局部注意力机制来学习稀疏模式

Hat: Hardware-aware transformers for efficient natural language processing

这是基于低秩的自注意力机制的高效Transformer模型，主要在长度维度上进行低秩投影，在单次转换中按维度混合序列信息。

Transformers are rnns: Fast autoregressive transformers with linear attention

使用基于核的自注意力机制、和矩阵的关联特性，将自注意力的复杂性从二次降低为线性

Masked language modeling for proteins via linearly scalable long-context transformers

利用正交随机特征（ORF），采用近似的方法避免存储和计算注意力矩阵。

Synthesizer: Rethinking self-attention in transformer models

提出一种新的学习注意力权重的方式。该方法没有使用点积注意力或基于内容的注意力)。生成独立于token-token交互的对齐矩阵，并探索了一组用于生成注意力矩阵的参数化函数。

https://zhuanlan.zhihu.com/p/84159401
http://tech.sina.com.cn/csj/2020-09-21/doc-iivhuipp5559540.shtml