2023年12月7日
LLM 学习笔记-Deepspeed-MoE 论文
摘要： 论文 DeepSpeed-MoE: Advancing Mixture-of-Experts Inference and Training to Power Next-Generation AI Scale 1. Introduction 现有的 MoE 方法在正式使用场景中存在的挑战： 场景局限： 阅读全文
posted @ 2023-12-07 17:32 marsggbo 阅读(2648) 评论(0) 推荐(0) 编辑