会员
周边
众包
新闻
博问
闪存
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
不要忘记我
博客园
首页
新随笔
联系
订阅
管理
2021年11月6日
Attention模型
摘要: 1.seq2seq模型有遗忘问题和对齐问题,attention在原来的seq2seq模型上做出了改进,在decoder编码阶段它的输入变为原来向量的加权求和,赋予每个向量不同的权重。 获取权重的方式:找一个向量q与输入句子的每个词的向量进行比较,如果两个向量相近则获得的权重比较高。 计算权重的方式:
阅读全文
posted @ 2021-11-06 16:05 啥123
阅读(180)
评论(0)
推荐(0)
编辑