会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
deephub
overfit深度学习
博客园
首页
新随笔
联系
订阅
管理
2024年5月31日
长序列中Transformers的高级注意力机制总结
摘要: 在处理长序列时,Transformers面临着注意力分散和噪音增加等挑战。随着序列长度的增长,每个词元必须与更多词元竞争注意力得分,这会导致注意力分数被稀释。这种稀释可能导致不那么集中和相关的上下文表示,特别是影响彼此距离较远的词元。 并且较长的序列更有可能包含不相关或不太相关的信息,从而引入噪声,
阅读全文
posted @ 2024-05-31 10:24 deephub
阅读(12)
评论(0)
推荐(0)
编辑
公告