摘要：
我们已经知道 dist.autograd 如何发送和接受消息，本文再来看看如何其他支撑部分，就是如何把发送接受两个动作协调起来，如何确定每个发送/接受节点，如何确定每一个消息交互Session。 阅读全文
posted @ 2021-12-01 21:08
罗西的思考
阅读(750)
评论(0)
推荐(0)
摘要：
前文我们给出了分布式autograd的设计思路，本文开始，我们进行具体源码分析。因为无论是前向传播还是反向传播，都需要依赖 RPC 来完成，所以我们先看看封装于 RPC 之上的一些基本功能，比如初始化，代理（RPC 相关功能都是基于代理完成），消息接受，发送等等。 阅读全文
posted @ 2021-11-30 19:50
罗西的思考
阅读(1231)
评论(0)
推荐(2)
摘要：
本文以几篇PyTorch官方文档为基础来了解分布式 autograd 的设计和内部结构，在翻译时并没有逐字翻译，其中加入了自己的部分理解。分布式 autograd 后续文章的分析也会基于本文进行。 阅读全文
posted @ 2021-11-29 20:18
罗西的思考
阅读(1904)
评论(0)
推荐(2)
摘要：
上文我们已经对Reduer的前向传播进行了分析，本文就接着来看看如何进行反向传播。 阅读全文
posted @ 2021-11-28 10:40
罗西的思考
阅读(2359)
评论(1)
推荐(1)
摘要：
前文已经对Reducer如何构建和几个重要场景做了介绍，本文就来分析 Reducer 如何实现前向传播。 阅读全文
posted @ 2021-11-27 10:17
罗西的思考
阅读(4063)
评论(2)
推荐(0)
摘要：
因为前文已经围绕Reducer相关的各种成员变量做了相关分析，所以本文和下文开始做动态逻辑分析，目的是：把前面几篇文章串联起来。 阅读全文
posted @ 2021-11-25 08:54
罗西的思考
阅读(3254)
评论(4)
推荐(2)
摘要：
通过上文分析，我们已经知道了 DDP 的基本架构和如何初始化，本文就看看其核心 Reducer 的静态架构。 阅读全文
posted @ 2021-11-23 20:21
罗西的思考
阅读(2596)
评论(0)
推荐(0)
摘要：
前文我们对DDP的一些支撑模块已经做了介绍，这为本文做了必要的铺垫，本文就开始介绍Python世界代码和C++世界的初始化部分。下文介绍C++世界的核心代码。 阅读全文
posted @ 2021-11-22 20:10
罗西的思考
阅读(4493)
评论(1)
推荐(1)
摘要：
本文是PyTorch分布式的第8篇，工欲善其事，必先利其器，为了更好的分析代码，我们先来学习一下相关论文。 阅读全文
posted @ 2021-11-21 16:24
罗西的思考
阅读(2578)
评论(2)
推荐(0)
摘要：
本文是 PyTorch 分布式系列的第七篇， 介绍 DistributedDataParallel 所依赖的进程组概念。 阅读全文
posted @ 2021-11-20 09:40
罗西的思考
阅读(4842)
评论(3)
推荐(2)
浙公网安备 33010602011771号