摘要:
Baidu All Reduce,即Ring All Reduce。Ring All Reduce技术在高性能计算领域很常用,2017年被百度用于深度学习训练。 朴素All Reduce的通信时间随GPU节点数线性增长。Ring All Reduce的通信时间跟GPU节点数无关,只受限于GPU间最慢 阅读全文
摘要:
package,即包,可以把功能相近的module(模块)组织在一起,以便更好地管理。Java中也有包的概念,作用类似,是为了更好地管理类和接口。package,说白了就是个目录,不过这个目录下一定要有__init__.py文件(这个文件可以空白)。package可以有子package,如下: mo 阅读全文