会员
周边
众包
新闻
博问
闪存
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
风雨中的小七
博客园
首页
新随笔
联系
订阅
管理
2022年10月8日
Bert不完全手册9. 长文本建模 BigBird & Longformer & Reformer & Performer
摘要:
这一章我们来唠唠如何优化BERT对文本长度的限制,核心是对Transformer计算效率的优化,我们会分别从片段递归,稀疏注意力机制和矩阵降维几个方向,聊聊更高效的Transformer魔改方案
阅读全文
posted @ 2022-10-08 10:36 风雨中的小七
阅读(1667)
评论(0)
推荐(0)
编辑