会员
周边
众包
新闻
博问
闪存
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
deephub
overfit深度学习
博客园
首页
新随笔
联系
订阅
管理
2023年11月15日
sMLP:稀疏全mlp进行高效语言建模
摘要: 这是一篇2022由纽约州立大学布法罗分校和Meta AI发布的论文,它主要的观点如下: 具有专家混合(MoEs)的稀疏激活mlp在保持计算常数的同时显着提高了模型容量和表达能力。此外gMLP表明,所有mlp都可以在语言建模方面与transformer相匹配,但在下游任务方面仍然落后。所以论文提出了s
阅读全文
posted @ 2023-11-15 09:32 deephub
阅读(12)
评论(0)
推荐(0)
编辑
公告