集合通信

Collective Communication

1. broadcast

2. scatter/gather

3. all gather

4. all to all

 

更多的集合通信方式，参见NCCL:

https://images.nvidia.com/events/sc15/pdfs/NCCL-Woolley.pdf

 

参考：

https://scc.ustc.edu.cn/zlsc/cxyy/200910/MPICH/mpi41.htm

posted @ 2021-10-26 11:29  xuyv  阅读(159)  评论(0)  编辑  收藏  举报