Attention is all you need及其在TTS中的应用Close to Human Quality TTS with Transformer和BERT
序列编码
深度学习做NLP的方法,基本都是先将句子分词,然后每个词转化为对应的的词向量序列,每个句子都对应的是一个矩阵X=(x1,x2,...,xt)X=(x1,x2,...,xt),其中xixi都代表着第ii个词向量,维度为d维,故x∈Rn×dx∈Rn×d
-
第一个基本的思路是RNN层,递归式进行:
yt=f(yt−1,xt)yt=f(yt−1,xt)RNN结构本身比较简单,也适合序列建模,但RNN明显缺点之一在于无法并行,因而速度较慢,而且RNN无法很好学习到全局的结构信息,因为其本质是一个马尔科夫决策过程。
-
第二个思路是CNN层,CNN方案即是窗口式遍历,如尺寸为3的卷积,即是:
yt=f(xt−1,xt,xt+1)yt=f(xt−1,xt,xt+1)CNN方便并行,而且容易捕捉到一些全局的结构信息,CNN实际只能获取局部信息,其通过层叠扩大感受野。
-
纯Attention
获取
全局信息
的问题上,RNN需要逐步递归,因此一般双向RNN才比较好,CNN只能获取局部信息且通过层叠扩大感受野。Attention:yt=f(xt,A,B)yt=f(xt,A,B)其中,A、B是另外一个序列(矩阵),如果取A=B=X,则称作
self_attention
,其意思是直接将xtxt与原来的每个词比较最后求出ytyt
Attention层
一般Attention的定义参见声谱预测网络(Tacotron2)注意力机制部分。
-
Attention定义
一般的Attention思路也是一个编码序列的方案,因此其跟RNN、CNN一样,是一个序列编码的层:
Attention(Q,K,V)=softmax(QKT√dk)VAttention(Q,K,V)=softmax(QKT√dk)V其中,Q∈RN×dk,K∈Rm×dk,V∈Rm×dvQ∈RN×dk,K∈Rm×dk,V∈Rm×dv。忽略softmaxsoftmax和√dk√dk,其实际是n×dk,dk×m,m×dvn×dk,dk×m,m×dv三个矩阵相乘,最后的结果为n×dvn×dv的矩阵,这也可以认为是一个Attention层将n×dkn×dk的序列QQ编码为一个新的n×dvn×dv的序列。
Attention(qt,K,V)=m∑s=11Zexp(<qt,ks>√dk)vsAttention(qt,K,V)=m∑s=11Zexp(<qt,ks>√dk)vs其中,ZZ是归一化因子,q,K,Vq,K,V分别是query,key,valuequery,key,value的简写,K,VK,V是一一对应的,上式意为通过qtqt这个queryquery,通过与各个ksks内积并softmax的方式,来得到qtqt与各个vsvs的相似度,然后加权求和,得到一个dvdv维的向量,其中因子√dk√dk起调节作用,使得内积不会过大(过大的话,softmax之后就非0即1,不够soft)。
-
Multi-Head Attention
将Q,K,VQ,K,V通过参数矩阵映射再做Attention,将此过程重复hh次,结果拼接起来即可。具体而言,
headi=Attention(QWQi,KWKi,VWVi)headi=Attention(QWQi,KWKi,VWVi)其中,WQi∈RdQ×~dQ,WKi∈Rdk×~dk,WVi∈RdV×~dVWQi∈RdQ×~dQ,WKi∈Rdk×~dk,WVi∈RdV×~dV。之后,
MultiHead(Q,K,V)=concat(head1,head2,...,headh)MultiHead(Q,K,V)=concat(head1,head2,...,headh)最后得到n×(h~dv)n×(h~dv)的序列,所谓多头(Multi-Head),即是多做几次同样的事情。注意,Q,K,VQ,K,V做映射时的参数矩阵在各个头之间不共享。
-
Self Attention
假设做阅读理解时,QQ可以是文章的词向量序列,取K=VK=V为问题的词向量序列,则输出即为所谓的Aligned Question Embedding.
在本论文中,大部分的Attention都是自注意力(self attention),或称内部注意力。
所谓self attention其实就是Attention(X,X,X)Attention(X,X,X),其中XX是输入序列。也就是说在序列内部做Attention,寻求序列内部的联系。论文的重要贡献之一即是表明了内部注意力在机器翻译(甚至是seq2seq)的序列编码上是相当重要的,而之前关于seq2seq的研究基本都只是将注意力机制应用于解码端。更准确来说,本文使用的是self multi-head attention.
Y=MultiHead(X,X,X)Y=MultiHead(X,X,X) -
Position Embedding
上文提出的模型并不适合捕捉序列的顺序。换言之,如果将K,VK,V按行打乱顺序,相当于在句子中将词序打乱,则Attention的结果仍一致。这表明了,前述的Attention模型至多是一个精巧的“词袋”模型。
position embedding,也即是位置向量,将每个位置编号,然后每一个编号对应一个向量。通过结合位置向量和词向量训练,这样就可以给每个词引入一定的位置信息,attention也就可以分辨不同位置的词了。
position embedding是本文中注意力机制位置信息的唯一来源,构建position embedding的公式:
{PE2i(p)=sin(p100002idpos)PE2i+1(p)=cos(p100002idpos)将id为p的位置映射为一个dpos的位置向量,这个向量的第i个元素的数值就是PEi(p)。在该论文中,比较训练而得的位置向量和上述公式计算出的位置向量,效果相近。但很明显,通过公式计算的position embedding更易获得。
position embedding本身是一个绝对位置信息,但是在语言中,相对位置也非常重要,采用上式中的位置向量公式一个重要的原因是:
sin(α+β)=sinα∗cosβ+cosα∗sinβcos(α+β)=cosα∗cosβ−sinα∗sinβ这表明了位置p+k的向量可以表示成位置p和位置k的向量的线性变换,这提供了表达相对位置的可能性。结合位置向量和词向量可以采用
元素加
和拼接
两种方法,直觉上,元素加会带来信息损失,但是该论文中的实验表明两者相差不大。
不足之处
Attention层的好处是能够一步到位的捕获全局信息,因为其直接吧序列两两比较(计算复杂度O(n2))。但是由于是矩阵运算,计算量并不是非常严重的问题。相比之下,RNN需要一步一步递推才能捕获全局联系,而CNN需要层叠扩大感受野。
- 本文中专门命名一种Position-Wise Feed-Forward Networks,事实它是窗口为1的一维卷积
- Attention虽然和CNN没有直接联系,但充分借鉴了CNN的思想,如Multi-Head Attention就是Attention做多次然后拼接,这类同于CNN中多个卷积核的思路是一致的,另外残差结构也来源于CNN。
- 无法对位置信息进行很好的建模,用这种纯Attention机制训练一个文本分类模型或者机器翻译模型效果还不错,但是用来训练序列标注问题,效果应该不会太好。
- 并非所有问题都是长程的、全局的依赖,有很多问题只依赖局部结构,论文中提及的restricted版的Self Attention假设当前词只与前后r个词发生联系,因此注意力只发生在这2r+1个词之间,这也就能捕获到序列的局部信息(实际上这就是卷积核中的卷积窗口)
Transformer
该论文中Transformer完全摒弃了递归结构,依赖注意力机制,挖掘输入和输出之间的关系,使得计算并行。
- Encoder: Transformer模型的Encoder由6个基本层堆叠而来,每个基本层包含两个子层,第一个子层是一个Attention,第二个是一个全连接前向神经网络,对着两个子层都引入了残差边和layer normalization。
- Decoder: Transformer模型的Decoder也由6个基本层堆叠而来,每个基本层除了Encoder里面的两个结构之外,还增加了一层注意力机制(Maksed Multi-Head Attention),同样引入了残差边和layer normalization。
总结
注意力机制简单来说就是给定一个查找(query)和一个键值表(key-value),将query映射到正确输入的过程,输出往往是一个加权求和的形式,而权重则是由query、key和value共同决定。
- 在encoder-decoder attention层中,query来自前一个时间步的decoder层,而key和value是encoder的输出,这允许decoder的每个位置都去关注输入序列的所有位置。
- encoder包含self-attention层,在self-attention层中所有的key、value和query都来自前一层的encoder,这样encoder的每个位置都能去关注前一层encoder输出的所有位置。
- decoder中也包含self-attention层
前向神经网络:这是一个position-wise前向神经网络,encoder和decoder的每一层都包含一个前向神经网络,激活顺序为线性、ReLU、线性。
位置编码:引入位置信息
Close to Human Quality TTS with Transformer
论文地址:Close to Human Quality TTS with Transformer
目前的语音合成系统仍然有两个问题亟待解决:1)在训练和推断时低效率;2)使用RNN很难对长时依赖建模。受到机器翻译研究中Transformer网络的启发,将“完全的Attention”嵌入到Tacotron2中。该论文中,使用多头注意力机制取代Tacotron2中RNN结构和原始的注意力机制。利用多头自注意力,能够并行训练编码器和解码器,从而提高了训练效率。同时,不同时刻的两个输入被自注意力直接联系起来,有效解决了长时依赖。这个Tacotron2改进版本添加了一个音素预处理的结构作为输入,使用WaveNet作为声码器。
论文中整个结构如上图,在Encoder Pre-Net之前,添加了一个Text-to-phone Convertor,论文的解释是:英文单词中,不同字母的发音有可能不同,如字母'a',有可能发/ei/音,也有可能发/æ/或/a:/音,之前依赖神经网络学习这种发音规则,但是在数据集小的时候可能无法有效学习到,这里就添了个前端,用规则直接转成音素送入模型里面。
-
Scaled Positional Encoding
《Attention all you need》中的位置编码,这里不像《Attention all you need》中,为了引入位置信息直接和词向量
元素加
,而是为位置向量添了一个可训练的权重系数:Attention is all you need: xi=prenet(phonemei)+PE(i)this version: xi=prenet(phonemei)+αPE(i)其中,α为待训练的权重系数。论文中给出的理由是:原空间是文本,而目标空间是mel频谱,使用固定的位置向量会给编码器和解码器的pre-net带来非常大的限制。
-
Encoder Pre-net
embedding(dim:512)→3conv(dim:512)→batch normalization→ReLU→LinearProjection注意:在最后ReLU层之后添加了一个线性映射,主要是因为ReLU输出的值为[0,+∞],而位置向量的每一维均位于[−1,+1],不同的区间中心会损害模型的表现。
-
Decoder Pre-net
训练时,mel频谱首先会进入2层的全连接网络,这两层的全连接网络主要是为了将mel频谱做embedding,像文本一样映射到子空间,使得<phoneme,mel frame>对能够处在相同的空间中,便于注意力机制发挥作用。实验中,将全连接层的大小由256增至512时,非但没有明显的提升,反而使得收敛变慢,这可能是由于mel频谱拥有小且低维的子空间,256的神经网络层足以映射,过大反而使得模型复杂难以收敛。同样,解码器Pre-net之后,加一个线性映射,保持与位置向量相同的区间中心。
-
Encoder和Decoder
分别将Tacotron2中编码器的
Bi-directional LSTM
和解码器的2-layer LSTM
替换为Transformer中的编解码器。论文中提到曾想将基于点乘的多头注意力变成基于location-sensitive
的注意力,但是发现训练时间加倍并且容易爆内存。 -
Mel Linear, Stop Linear and Post-net
由于stop token的样本不平衡,解决方法就是在stop token的交叉熵损失上加个权,权重5.0~8.0.
-
实验
实验效果上,增加Transformer中Attention的层数和多头注意力的头数可以提高模型表现,但是会减慢训练速度。
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
论文地址:BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
论文宣称将在本月(2018/10)放出模型和代码:BERT model&code
本质是一个预训练模型,效果惊人。该论文中,将预训练模型分为两种,一种是类似Word2Vec那样,提取有效特征给模型用;另一种类似于ResNet在ImageNet上训练完成之后作为Faster R-CNN的骨干网那样,直接作为下游模型的骨架网络,一个模型通吃所有任务。该论文中提出的方法是后者,预训练的BERT使用额外的一个输出层进行微调,即可获得很多任务上当前最好表现。
-
模型结构
BERT的模型结构是一个多层双向Transformer编码器(基于上述Attention all you need中的实现)。
-
模型输入
模型输入:Token embedding + Segmentation embedding + Position embedding
-
预训练任务
不适用传统的从左至右或从右至左的语言模型来预训练BERT,而是使用两种新型的无监督预测任务。
-
Masked LM
随机遮盖输入token中的某些部分,然后预测被遮盖的token,将这一过程称作
masked LM(MLM)
,在其它文献中也称作Cloze
任务。由于[MASK]在微调时从未见过,因此每一次都确定用[MASK]替换要被遮蔽的token。而是随机选择15%的token,在这15%的token中,80%的概率会如上所述,被遮盖掉;10%的概率该token被替换为另一个随机的token;10%的概率不变。这样Transformer就必须对每一个token学习一个分布式上下文表示(distributed contextual representation) -
Next Sentence Prediction
预训练下一句的二分类任务,即选择句子 A和B作为训练样本,B有50%的概率是A的下一个句子,50%的概率不是,要求模型学习判断。这是由于许多下游任务如QA和自然语言推断(NLI)基于对两个文本句子之间关系的理解,因此要训练一个理解句子关系的模型。
-
-
损失函数
loss=masked LM likelihood + mean next sentence likelihood
参考文献
《Attention is All You Need》浅读(简介+代码)
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 一个奇形怪状的面试题:Bean中的CHM要不要加volatile?
· [.NET]调用本地 Deepseek 模型
· 一个费力不讨好的项目,让我损失了近一半的绩效!
· .NET Core 托管堆内存泄露/CPU异常的常见思路
· PostgreSQL 和 SQL Server 在统计信息维护中的关键差异
· CSnakes vs Python.NET:高效嵌入与灵活互通的跨语言方案对比
· DeepSeek “源神”启动!「GitHub 热点速览」
· 我与微信审核的“相爱相杀”看个人小程序副业
· Plotly.NET 一个为 .NET 打造的强大开源交互式图表库
· 上周热点回顾(2.17-2.23)