2021年11月6日
摘要: 1.seq2seq模型有遗忘问题和对齐问题,attention在原来的seq2seq模型上做出了改进,在decoder编码阶段它的输入变为原来向量的加权求和,赋予每个向量不同的权重。 获取权重的方式:找一个向量q与输入句子的每个词的向量进行比较,如果两个向量相近则获得的权重比较高。 计算权重的方式: 阅读全文
posted @ 2021-11-06 16:05 啥123 阅读(180) 评论(0) 推荐(0) 编辑