打赏
禅在心中
东风夜放花千树,更吹落、星如雨。宝马雕车香满路。凤箫声动,玉壶光转,一夜鱼龙舞。 蛾儿雪柳黄金缕,笑语盈盈暗香去。众里寻他千百度,蓦然回首,那人却在,灯火阑珊处。
posts - 68,comments - 16,views - 71万

 本文内容:

  • 什么是seq2seq模型
  • Encoder-Decoder结构
  • 常用的四种结构
  • 带attention的seq2seq
  • 模型的输出
  • seq2seq简单序列生成实现代码

 

一、什么是seq2seq模型

  seq2seq全称为:sequence to sequence ,是2014年被提出来的一种Encoder-Decoder结构。其中Encoder是一个RNN结构(LSTM、GRU、RNN等)。

主要思想是输入一个序列,通过encoder编码成一个语义向量c(context),然后decoder成输出序列。这个结构重要的地方在于输入序列和输出序列的长度是可变的。

应用场景:机器翻译、聊天机器人、文档摘要、图片描述等

 

二、Encoder-Decoder结构

  最初Encoder-Decoder模型由两个RNN组成

  这个结构可以看到,输入一个句子后,生成语义向量c,编码过程比较简单;

  解码时,每个c、上一时刻的yi-1,以及上一时刻的隐藏层状态si-1都会作用到cell,然后生成解码向量。

 

三、常用的四种seq2seq结构

  对于上面模型中的编码模型,是一种比较常用的方式,将编码模型最后一个时刻的隐层状态做为整个序列的编码表示,但是实际应用中这种效果并不太好。

  因此,对于常用的模型中,通常直接采用了整个序列隐层编码进行求和平均的方式得到序列的编码向量。因此通常有四种模式:

  对于解码模式:

  普通作弊模式

  如上,编码时,RNN的每个时刻除了上一时刻的隐层状态,还有输入字符,而解码器没有这种字符输入,用context作为输入,即为一种比较简单的模式。

 

  学霸模式

 

   如上是一种带输出回馈的方式。输入即为上一时刻的输出。

  学弱模式

 

  学渣作弊模式

  学渣作弊模式就是在学弱的基础上在引入Attention机制,加强对于编码输入的特征的影响。

 

  下面主要梳理带attention机制的seq2seq模型:

 

四、带attention的seq2seq

  编码器如上,公式不再赘述。

  注意:对于使用双向的GRU编码时,得到的两个方向上的hi,通常进行contact作为输入。

   对于解码的过程,可以看到,在语义向量C的求解的过程中,添加了attention。

 

 

  如上,当计算Y4时,上一时刻解码的隐层状态会作用于编码器的输入,这样会从新计算context,过程就是这样的。公式表示:

  其中,i对应的是翻译的第i个字,j对应的是输入的第j个字。

  其中的aij是一个归一化的值,归一化的方法为softmax。其中eij为attention计算的输出,这么做的原因是因为,本质上这个权值是一个概率值,如果直接用eij的话,context缩放变大。

  s为解码器的隐层状态,h为编码器的输出。

 

 五、模型输出转化为语句

   GRU的输出已经包含了待生成的词的信息了,但是要生成具体的词,还需要进一步操作。

  如上图,output是一个具体的词向量,这个词向量的获取是通过softmax获得的所有的语料库的词向量的概率最大的那一个词向量。

  而softmax的输入通常是这个词典的维度,但这个维度的大小往往和GRU输出的维度并不对应,这时,通过一个全连接层(Dense_Layer)来做一个维度上的映射。

事实上,softmax可以简单理解为一个归一化操作,求的是概率。

 六、使用seq2seq做序列生成

  说白了,seq2seq就是两个lstm/GRU嘛,做序列生成的化,并不是一个十分复杂的过程,本文在网上流传的代码基础上进行裁剪,保留最简单的代码:

  如上,可以很容易实现输入一个序列,然后训练生成另一个序列,效果如图:

 

posted on   禅在心中  阅读(5428)  评论(0编辑  收藏  举报
< 2025年1月 >
29 30 31 1 2 3 4
5 6 7 8 9 10 11
12 13 14 15 16 17 18
19 20 21 22 23 24 25
26 27 28 29 30 31 1
2 3 4 5 6 7 8

点击右上角即可分享
微信分享提示