详解 MoE
摘要：
详解 MoE 随着 Mixtral 8x7B 的发布（公告，模型卡），MoE transformer（Mixture of Experts，混合专家）模型已经成为开放 AI 社区的热门话题。本文，我们主要讨论 MoE 模型的基础模块、训练方式以及针对推理场景的主要考量。 我们开始吧！ 目录 详解 M 阅读全文
posted @ 2023-12-22 12:21 姚伟峰 阅读(3046) 评论(0) 推荐(0) 编辑
能看不尽景，始是不凡人
