Loading

2020年4月12日
MLHPC 2016 | Communication Quantization for Data-parallel Training of Deep Neural Networks
摘要： 本文主要研究HPC上进行数据并行训练的可行性。作者首先在HPC上实现了两种通信量化算法（ "1 Bit SGD" 以及 "阈值量化" ），然后提出了自适应量化算法以解决它们的缺点。此外，发挥出量化算法的性能，作者还自己实现了一个Allreduce算法。 1 Bit SGD可以实现良好的重构和较低的误 阅读全文
posted @ 2020-04-12 21:08 shuo-ouyang 阅读(466) 评论(6) 推荐(0) 编辑