2021 年 9月随笔档案 - 罗西的思考

摘要：前几篇文章我们介绍了 PyTorch 流水线并行的基本知识，自动平衡机制和切分数据，本文我们结合论文内容来看看如何保证前向计算执行顺序。阅读全文

posted @ 2021-09-28 21:24 罗西的思考阅读(1344) 评论(0) 推荐(0) 编辑

摘要：前几篇文章我们介绍了 PyTorch 流水线并行的基本知识和自动平衡机制，本文我们介绍如何切分数据和运行时系统。阅读全文

posted @ 2021-09-26 20:38 罗西的思考阅读(1376) 评论(2) 推荐(0) 编辑

摘要：上一篇文章我们介绍了 PyTorch 流水线并行的基本知识，本文我们介绍其自动平衡机制和模型分割。阅读全文

posted @ 2021-09-24 16:24 罗西的思考阅读(1758) 评论(0) 推荐(0) 编辑

摘要：本系列开始介绍PyTorch的流水线并行实现。实质上，PyTorch就是 GPipe 的PyTorch版本。阅读全文

posted @ 2021-09-22 08:45 罗西的思考阅读(3876) 评论(0) 推荐(0) 编辑

摘要：本文以 PyTorch on Horovod 为切入点，分析一下 Horovod 弹性训练的恢复流程，具体涉及知识点有：ElasticSampler与PyTorch 原生DistributedSampler 的区别，Horovod 弹性训练如何恢复等。阅读全文

posted @ 2021-09-18 15:47 罗西的思考阅读(644) 评论(0) 推荐(0) 编辑

摘要：在前文中，我们介绍了PipeDream的总体架构，Profile阶段，计算分区阶段，模型转换阶段，运行时引擎和通信模块，本文是 PipeDream 系列最后一篇，介绍 1F1B 策略，这是 PipeDream 最大的贡献。阅读全文

posted @ 2021-09-15 16:46 罗西的思考阅读(5093) 评论(0) 推荐(2) 编辑

摘要：在前文中，我们介绍了PipeDream的总体架构，Profile阶段，计算分区阶段，模型转换阶段和运行时引擎，本文我们介绍PipeDream 的通信模块，通信模块是引擎的基础，同时也是PyTorch DDP，P2P 如何使用的一个万花筒和完美示例。阅读全文

posted @ 2021-09-13 10:13 罗西的思考阅读(1269) 评论(0) 推荐(0) 编辑

摘要：在前文中，我们介绍了PipeDream的总体架构，Profile阶段，计算分区阶段和模型转换阶段，本文我们介绍运行时执行引擎，这是一个统一基础设施层。阅读全文

posted @ 2021-09-11 09:39 罗西的思考阅读(937) 评论(0) 推荐(0) 编辑

摘要：在前文中，我们介绍了PipeDream的总体架构，Profile阶段和计算分区阶段。本文我们介绍模型转换阶段。阅读全文

posted @ 2021-09-07 20:27 罗西的思考阅读(1149) 评论(0) 推荐(0) 编辑

摘要：在前文中，我们介绍了PipeDream的总体架构和Profile阶段，本文我们继续介绍计算分区阶段。阅读全文

posted @ 2021-09-03 17:06 罗西的思考阅读(1552) 评论(2) 推荐(1) 编辑

摘要：继 GPipe 之后，我们开一个流水线并行训练新系列，介绍微软的PipeDream。本文介绍其总体思路，架构和Profile阶段。阅读全文

posted @ 2021-09-01 19:24 罗西的思考阅读(4528) 评论(2) 推荐(1) 编辑

09 2021 档案