Transformer模型---decoder

一、结构

1.编码器

Transformer模型---encoder - nxf_rabbit75 - 博客园

2.解码器

（1）第一个子层也是一个多头自注意力multi-head self-attention层，但是，在计算位置i的self-attention时屏蔽掉了位置i之后的序列值，这意味着：位置i的attention只能依赖于它之前的结果，不能依赖它之后的结果。因此，这种self-attention也被称作masked self-attention。

（2）第二个子层是一个多头注意力multi-head attention层，用于捕获decoder output和encoder output之间的attention。第三个子层是一个简单的全连接层。

（3）和encoder一样：每个子层都使用残差直连，并且残差直连之后跟随一个layer normalization：LN；decoder所有层的输入、输出的向量维度也是$d_{model}=512$维。

二、Tips

1.使用multi-head attention的三个适用场景：

　　encoder-decoder attention：使用multi-head attention，输入为encoder的输出和decoder的self-attention输出，其中encoder的self-attention作为 key and value，decoder的self-attention作为query

　　encoder self-attention：使用 multi-head attention，输入的Q、K、V都是一样的（input embedding and positional embedding）
　　decoder self-attention：在decoder的self-attention层中，deocder 都能够访问当前位置前面的位置

2.decoder的masked self-attention

注意encoder里面是叫self-attention，decoder里面是叫masked self-attention。

这里的masked就是要在做language modelling（或者像翻译）的时候，不给模型看到未来的信息。

3.优化

三、Transformer vs CNN vs RNN

 1.假设输入序列长度为n，每个元素的维度为$d:\{x_1,...,x_n\}$，输出序列长度也为n，每个元素的维度也是d：$\{y_1,...,y_n\}$，从每层的计算复杂度、并行的操作数量、学习距离长度三个方面比较Transformer、CNN、RNN三个特征提取器：

1.每层的计算复杂度：

　　考虑到n个key和n个query两两点乘，因此self-attention每层计算复杂度为$O(n^2*d)$

　　考虑到矩阵（维度为$n*n$）和输入向量相乘，因此RNN每层计算复杂度为$O(n*d^2)$

　　对于k个卷积核经过n次一维卷积，因此CNN每层计算复杂度为$O(k*n*d^2)$，如果考虑深度可分离卷积，则计算复杂度下降为$O(k*n*d+n*d^2)$

因此：

　　当$n<d$时，self attention要比RNN和CNN快；

　　当$n>d$时，可以使用受限self attention，即：计算attention时仅考虑每个输出位置附近窗口的r个输入。这将带来两个效果：每层计算复杂度降为$O(r*n*d)$

　　最长学习距离降低为r，因此需要执行$O(n/r)$次才能覆盖到所有输入。

2.并行操作数量：

可以通过必须串行的操作数量来描述：

　　对于self-attention，CNN，其串行操作数量为O(1)，并行度最大；

　　对于RNN，其串行操作数量为O(n)，较难并行化。

3.最长计算路径：

覆盖所有输入的操作的数量

　　对于self-attention，最长计算路径为O(1)；对于self-attention stricted，最长计算路径为O(n/r)；

　　对于常规卷积，则需要O(n/k)个卷积才能覆盖所有的输入；对于空洞卷积，则需要$O(log_kn)$才能覆盖所有的输入；

　　对于RNN，最长计算路径为O(n)

4.作为额外收益，self-attention可以产生可解释性的模型：

通过检查模型中的注意力分布，可以展示与句子语法和语义结构相关的信息。

 

 

 

 

参考文献：

【1】BERT专题系列（二）：Transformer （Attention is all you need）_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili

【2】NLP学习(5)----attention/ self-attention/ seq2seq/ transformer - Lee_yl - 博客园