Loading

2020年10月9日
Aluminum: An Asynchronous, GPU-Aware Communication Library Optimized for Large-Scale Training of Deep Neural Networks on HPC Systems
摘要： 本文发表在MLHPC 2018上，主要介绍了一个名为Aluminum通信库，这个库针对Allreduce做了一些关于计算通信重叠以及针对延迟的优化，以加速分布式深度学习训练过程。 分布式训练的通信需求 通信何时发生 一般来说，神经网络的训练过程分为三步：前向传播、反向传播以及参数优化。在使用数据并行 阅读全文
posted @ 2020-10-09 22:18 shuo-ouyang 阅读(583) 评论(0) 推荐(0) 编辑