随笔 - 936, 文章 - 0, 评论 - 249, 阅读 - 345万

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5

2025年1月17日

DeepSeek-V3 的 MoE 架构解析：细粒度专家与高效模型扩展

摘要： DeepSeek-V3 采用的 DeepSeekMoE 架构，通过细粒度专家、共享专家和 Top-K 路由策略，实现了模型容量的高效扩展。 每个 MoE 层包含 1 个共享专家和 256 个路由专家，每个 Token 选择 8 个路由专家，最多路由至 4 个节点。这种稀疏激活的机制，使得 DeepS 阅读全文

posted @ 2025-01-17 13:57 蝈蝈俊 阅读(4842) 评论(0) 推荐(1) 编辑

点击右上角即可分享
微信分享提示