2019年8月30日
深度梯度压缩：减小分布式训练的通信带宽
摘要： 论文：https://arxiv.org/pdf/1712.01887.pdf 译文：深度梯度压缩：减小分布式训练的通信带宽 摘要 大规模分布式训练需要通信带宽用于梯度交换，这在节点较多时，限制了训练的可扩展性，而且网络带宽比较贵。如果是在移动设备上进行分布式训练（如联合学习），情况会变得更加糟糕， 阅读全文
posted @ 2019-08-30 15:28 happyyoung 阅读(2300) 评论(0) 推荐(0) 编辑