2024年3月29日
使用MergeKit创建自己的专家混合模型：将多个模型组合成单个MoE
摘要： 由于Mixtral的发布，专家混合(MoE)架构在最近几个月变得流行起来。虽然Mixtral和其他MoE架构是从头开始预训练的，但最近出现了另一种创建MoE的方法：Arcee的MergeKit库可以通过集成几个预训练模型来创建moe。这些人通常被称为frankenMoEs或MoErges，以区别于预 阅读全文
posted @ 2024-03-29 11:57 deephub 阅读(45) 评论(0) 推荐(0) 编辑