摘要: 整体流程与第一篇差不多,只是在encoder和decoder加入了RNN Encoder: 1. ai=xi+li ai=词向量+词在序列中的位置信息(相当于一个权重,[M, 1]) 流程: 先是CNN获取位置信息,然后再加上词向量,然后再通过LSTM 2. 常见的求注意力权重的方法 a. ht-1 阅读全文
posted @ 2018-09-17 15:29 下路派出所 阅读(929) 评论(0) 推荐(0) 编辑
摘要: 流程: 1.文本和摘要全部输入到模型中。 2.训练时,对生成摘要取前C个词,从头开始取,如果生成的摘要不足C,那么不足的地方直接补<s>。 3.训练时,最大化生成的摘要与原摘要的概率,即每个生成的词与原摘要的词进行对比,用损失函数计算梯度,然后下降。 4.预测时,已经具有了权重的模型,会逐词生成N个 阅读全文
posted @ 2018-09-17 11:21 下路派出所 阅读(292) 评论(0) 推荐(0) 编辑