2024年11月8日
大模型--训练 加速之 数据并行(DP, DDP与ZeRO)-上-11
摘要： 目录1. 参考2. 总结3. 分布式数据并行(DDP)4. 总结 1. 参考 https://zhuanlan.zhihu.com/p/617133971 2. 总结 以Google GPipe为代表的流水线并行范式，当模型太大，一块GPU放不下时，流水线并行，将模型的不同层放到不同的GPU上， 通 阅读全文
posted @ 2024-11-08 17:55 jack-chen666 阅读(157) 评论(0) 推荐(0) 编辑
大模型--训练 加速之 流水线并行Pipeline Parallelism-10
摘要： 目录1. 参考2. 概述3. 目标4. 模型并行4.流水线并行4.1 切分micro-batch4.2 re-materialization（active checkpoint）5. 实验效果5.1 GPU数量 VS 模型大小5.2 GPU数量 VS 训练速度5.3 Gpipe下时间消耗分布 1. 阅读全文
posted @ 2024-11-08 11:33 jack-chen666 阅读(60) 评论(0) 推荐(0) 编辑
transformer-视觉-IPT 模型- 01
摘要： 目录1. 论文2. 代码 1. 论文 https://arxiv.org/pdf/2012.00364 2. 代码 Code is available at https://github.com/huawei-noah/Pretrained-IPT and https:gitee.com/minds 阅读全文
posted @ 2024-11-08 09:54 jack-chen666 阅读(12) 评论(0) 推荐(0) 编辑