合集-megatron代码阅读

摘要:megatron 源码阅读第二篇, 看了TP和PP的对应实现 阅读全文
posted @ 2025-02-06 20:28 SunStriKE 阅读(112) 评论(0) 推荐(0) 编辑
摘要:以pretrain_gpt.py为例, 看megatron的整体逻辑. 本章主要包括megatron初始化相关逻辑, 核心函数为initialize_megatron, setup_model_and_optimizer两个 initialize_megatron parse_args 从argpa 阅读全文
posted @ 2025-01-13 16:15 SunStriKE 阅读(209) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示
more_horiz
keyboard_arrow_up light_mode palette
选择主题