sMLP:稀疏全mlp进行高效语言建模

这是一篇2022由纽约州立大学布法罗分校和Meta AI发布的论文，它主要的观点如下：

具有专家混合(MoEs)的稀疏激活mlp在保持计算常数的同时显着提高了模型容量和表达能力。此外gMLP表明，所有mlp都可以在语言建模方面与transformer相匹配，但在下游任务方面仍然落后。所以论文提出了sMLP，通过设计确定性路由和部分预测来解决下游任务方面的问题。

 

https://avoid.overfit.cn/post/92556271c70242719a322ad2788f4066

posted @   deephub  阅读(51)  评论(0)  编辑  收藏  举报
相关博文：
· 简化版Transformer ：Simplifying Transformer Block论文详解
· 论文推荐：用多词元预测法提高模型效率与速度
· Multi-Patch Prediction Adapting LLMs for Time Series Representation Learning
· 混合专家模型 (MoE) 详解
· 【转载】大型语言模型最新综述：从T5到GPT-4最全盘点
阅读排行：
· 全程不用写代码，我用AI程序员写了一个飞机大战
· DeepSeek 开源周回顾「GitHub 热点速览」
· 记一次.NET内存居高不下排查解决与启示
· MongoDB 8.0这个新功能碉堡了，比商业数据库还牛
· .NET10 - 预览版1新功能体验（一）
历史上的今天：
2022-11-15 PyTorch常用5个抽样函数
点击右上角即可分享
微信分享提示