2024年11月30日
大语言模型中的MoE
摘要： 1.概述 MoE代表“混合专家模型”（Mixture of Experts），这是一种架构设计，通过将不同的子模型（即专家）结合起来进行任务处理。与传统的模型相比，MoE结构能够动态地选择并激活其中一部分专家，从而显著提升模型的效率和性能。尤其在计算和参数规模上，MoE架构能够在保持较低计算开销的同 阅读全文
posted @ 2024-11-30 00:10 哥不是小萝莉 阅读(172) 评论(1) 推荐(0) 编辑