会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
NLP论文解读
博客园
首页
新随笔
联系
订阅
管理
2022年1月13日
解读干货:词语对齐的注意力机制,提升中文预训练模型效果
摘要: ©原创作者 |疯狂的Max 背景及动机 大部分中文预训练模型都以单个字作为基础单元,而忽略了中文是以词语为最小语义单元的语言特性。 与英文不同,中文词语并不会以空格隔开,因此预训练模型在中文任务上都直接以单个字符来进行模型构建,但是事实上单个的中文字是带有歧义的,比如“拍”在词语“球拍”和“拍卖”中
阅读全文
posted @ 2022-01-13 14:13 NLP论文解读
阅读(392)
评论(0)
推荐(0)
编辑
公告