07 2024 档案

摘要:LLM并行训练-总结: 如何调整混合并行策略和nvidia训练GPT3的分析 阅读全文
posted @ 2024-07-29 21:29 SunStriKE 阅读(750) 评论(0) 推荐(0) 编辑
摘要:LLM训练activation优化相关技术, 包括激活重计算/序列并行/zero-R/zero-offload等 阅读全文
posted @ 2024-07-20 21:10 SunStriKE 阅读(439) 评论(2) 推荐(0) 编辑
摘要:LLM并行训练-moe并行学习笔记 阅读全文
posted @ 2024-07-20 12:48 SunStriKE 阅读(1174) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示
more_horiz
keyboard_arrow_up light_mode palette
选择主题