[转载]腾讯机智团队分享--AllReduce算法的前世今生

腾讯机智团队分享--AllReduce算法的前世今生 - 兰瑞Frank的文章 - 知乎
https://zhuanlan.zhihu.com/p/79030485

算法比较：

以下是从中选取的几张示意图：

朴素实现：Reduce and Broadcast

利用树形结构缓解parameter server带宽瓶颈：Recursive halving and doubling

利用好空闲带宽：Butterfly

解决数据块过大出现的问题：Ring Allreduce

MPI AllReduce算法选择：