Loading

2020年9月21日
MXNet源码分析 | KVStore进程间通信
摘要： 本文主要基于MXNet1.6.0版本进行分析。 在上一篇文章中，我们分析了MXNet中KVStore的进程内通信机制。在这篇文章中，我们主要分析KVStore如何进行多节点分布式通信。 在KVStore的实现中，KVStoreDist和KVStoreDistServer分别对应参数服务器中的work 阅读全文
posted @ 2020-09-21 21:49 shuo-ouyang 阅读(468) 评论(0) 推荐(0) 编辑
MXNet源码分析 | Gluon接口分布式训练流程
摘要： 本文主要基于MXNet1.6.0版本，对Gluon接口的分布式训练过程进行简要分析。 众所周知，KVStore负责MXNet分布式训练过程中参数的同步，那么它究竟是如何应用在训练中的呢？下面我们将从Gluon.Trainer这个接口入手，逐步分析分布式训练的梯度交换以及参数同步过程。下面这段代码摘自 阅读全文
posted @ 2020-09-21 11:19 shuo-ouyang 阅读(506) 评论(0) 推荐(0) 编辑