2025年2月14日
[MoE] Tutel源码解读
摘要： [MoE] Tutel源码解读 前言 最近MoE变得火了起来。但我在和别人讨论MoE时，总有一些说不清楚地方，就算读了论文也一知半解。于是我决定还是要看一看具体的代码，看看每个细节究竟都是怎么实现的。 作为实现参考，Tutel这篇工作就很不错。最近的工作基本都拿Tutel作为Baseline比较，于 阅读全文
posted @ 2025-02-14 00:12 CQzhangyu 阅读(81) 评论(0) 推荐(0) 编辑
点击右上角即可分享
微信分享提示