摘要： 背景 随着各大企业和研究机构在PyTorch、TensorFlow、Keras、MXNet等深度学习框架上面训练模型越来越多，项目的数据和计算能力需求急剧增加。在大部分的情况下，模型是可以在单个或多个GPU平台的服务器上运行的，但随着数据集的增加和训练时间的增长，有些训练需要耗费数天甚至数周的时间， 阅读全文