2019年8月13日
Nccl allreduce && BytePS原理
摘要： 一、Nccl AllReduce基本原理： allreduce是collective communication中的一种，其他种类的还有：Broadcast、Scatter、Gather、Reduce等 具体含义可以参考文档：https://images.nvidia.com/events/sc15 阅读全文
posted @ 2019-08-13 22:25 灰太狼锅锅 阅读(5637) 评论(0) 推荐(0) 编辑