会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
Geek Song
保持对科技的热情,不断积累自己的技术套装,力求能够快速从0到1构建整个项目,生命因技术而更加精彩!
博客园
首页
新随笔
联系
订阅
管理
2021年10月27日
【自然语言处理】:自注意力机制(self-attention)原理介绍
摘要: 一.最常见的self-attention 对于自注意力机制而言,我们有的时候会遇到词性分类的任务,比如说给定一句话,我想知道这句话当中每一个单词的词性。但是使用双向lstm呢,会有很多信息被忽略掉,尤其是一些位于后面的词很可能前面的词对它的影响没有那么大,即使我们的lstm考虑了一些遗忘门,增强记忆
阅读全文
posted @ 2021-10-27 21:35 Geeksongs
阅读(3457)
评论(0)
推荐(0)
编辑
公告
Coded by Geeksongs on Linux
All rights reserved, no one is allowed to pirate or use the document for other purposes.