随笔分类 -  分布式训练

摘要:对triton中的基本语法和cuda进行对照学习 阅读全文
posted @ 2025-02-21 21:04 SunStriKE 阅读(4) 评论(0) 推荐(0) 编辑
摘要:deepseek-v3论文中 AIInfra相关的技术学习 阅读全文
posted @ 2025-02-12 21:15 SunStriKE 阅读(671) 评论(0) 推荐(0) 编辑
摘要:megatron 源码阅读第二篇, 看了TP和PP的对应实现 阅读全文
posted @ 2025-02-06 20:28 SunStriKE 阅读(112) 评论(0) 推荐(0) 编辑
摘要:以pretrain_gpt.py为例, 看megatron的整体逻辑. 本章主要包括megatron初始化相关逻辑, 核心函数为initialize_megatron, setup_model_and_optimizer两个 initialize_megatron parse_args 从argpa 阅读全文
posted @ 2025-01-13 16:15 SunStriKE 阅读(209) 评论(0) 推荐(0) 编辑
摘要:LLM并行训练-总结: 如何调整混合并行策略和nvidia训练GPT3的分析 阅读全文
posted @ 2024-07-29 21:29 SunStriKE 阅读(751) 评论(0) 推荐(0) 编辑
摘要:LLM训练activation优化相关技术, 包括激活重计算/序列并行/zero-R/zero-offload等 阅读全文
posted @ 2024-07-20 21:10 SunStriKE 阅读(439) 评论(2) 推荐(0) 编辑
摘要:LLM并行训练-moe并行学习笔记 阅读全文
posted @ 2024-07-20 12:48 SunStriKE 阅读(1174) 评论(0) 推荐(0) 编辑
摘要:字节megascale论文学习笔记 阅读全文
posted @ 2024-06-29 18:27 SunStriKE 阅读(403) 评论(0) 推荐(1) 编辑
摘要:大模型训练 数据并行相关的学习笔记, 主要内容 zero, zero++ 阅读全文
posted @ 2024-06-28 22:25 SunStriKE 阅读(498) 评论(0) 推荐(0) 编辑
摘要:张量并行相关原理的学习笔记 阅读全文
posted @ 2024-06-27 17:22 SunStriKE 阅读(362) 评论(0) 推荐(0) 编辑
摘要:流水线并行相关原理的学习笔记 阅读全文
posted @ 2024-06-26 22:06 SunStriKE 阅读(809) 评论(0) 推荐(1) 编辑

点击右上角即可分享
微信分享提示
more_horiz
keyboard_arrow_up light_mode palette
选择主题