分布式训练- - SunStriKE

摘要：流水线并行相关原理的学习笔记阅读全文

posted @ 2024-06-26 22:06 SunStriKE 阅读(1502) 评论(0) 推荐(1)

摘要：张量并行相关原理的学习笔记阅读全文

posted @ 2024-06-27 17:22 SunStriKE 阅读(645) 评论(0) 推荐(0)

摘要：大模型训练数据并行相关的学习笔记, 主要内容 zero, zero++ 阅读全文

posted @ 2024-06-28 22:25 SunStriKE 阅读(838) 评论(0) 推荐(0)

摘要：字节megascale论文学习笔记阅读全文

posted @ 2024-06-29 18:27 SunStriKE 阅读(571) 评论(0) 推荐(1)

LLM并行训练5-MoE并行

摘要：LLM并行训练-moe并行学习笔记阅读全文

posted @ 2024-07-20 12:48 SunStriKE 阅读(2989) 评论(0) 推荐(0)

摘要：LLM训练activation优化相关技术, 包括激活重计算/序列并行/zero-R/zero-offload等阅读全文

posted @ 2024-07-20 21:10 SunStriKE 阅读(884) 评论(2) 推荐(0)

摘要：LLM并行训练-总结: 如何调整混合并行策略和nvidia训练GPT3的分析阅读全文

posted @ 2024-07-29 21:29 SunStriKE 阅读(1564) 评论(0) 推荐(0)

deepseek-v3 论文阅读

摘要：deepseek-v3论文中 AIInfra相关的技术学习阅读全文

posted @ 2025-02-12 21:15 SunStriKE 阅读(1556) 评论(0) 推荐(0)

Loading