WideNet:让网络更宽而不是更深

这是新加坡国立大学在2022 aaai发布的一篇论文。WideNet是一种参数有效的框架，它的方向是更宽而不是更深。通过混合专家(MoE)代替前馈网络(FFN)，使模型沿宽度缩放。使用单独LN用于转换各种语义表示，而不是共享权重。

 

https://avoid.overfit.cn/post/fd66d50b81fc4e4e83bb3bba42f41dee

posted @   deephub  阅读(19)  评论(0)  编辑  收藏  举报
相关博文：
· 论文推荐：CCNet用于语义分割的交叉注意力
· ATFNet：长时间序列预测的自适应时频集成网络
· WideNet:让网络更宽而不是更深
· 【神经网络架构】EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks 论文阅读
· EffcientNet学习笔记
阅读排行：
· 全程不用写代码，我用AI程序员写了一个飞机大战
· DeepSeek 开源周回顾「GitHub 热点速览」
· 记一次.NET内存居高不下排查解决与启示
· MongoDB 8.0这个新功能碉堡了，比商业数据库还牛
· .NET10 - 预览版1新功能体验（一）
历史上的今天：
2022-07-05 pandas.read_csv() 处理 CSV 文件的 6 个有用参数
点击右上角即可分享
微信分享提示