从零开始用Pytorch实现LLaMA 4的混合专家（MoE）模型

近期发布的LLaMA 4模型引入了混合专家（Mixture of Experts, MoE）架构，旨在提升模型效率和性能。尽管社区对LLaMA 4的实际表现存在一些讨论，但MoE作为一种重要的模型设计范式，继Mistral等模型之后再次受到关注。
所以我们将使用Pytorch逐步从零开始实现一个简化版的LLaMA 4 MoE模型。通过详细的代码实现和解释，我们将深入理解MoE架构的关键组件及其工作原理。为便于跟踪执行流程，代码中将包含必要的打印输出。

以下是在小型英文文本数据集（摘自《爱丽丝梦游仙境》）上训练一个约220万参数的LLaMA MoE模型（使用Colab T4 GPU，训练3000轮）后的生成示例：

 

https://avoid.overfit.cn/post/27b7812def944fe0bad8ef1ecef5e739