Loading

2020年4月11日
INTERSPEECH 2015 | Scalable Distributed DNN Training Using Commodity GPU Cloud Computing
摘要： 一般来说，全连接层的前向和后向传递所需的计算量与权重的数量成正比。此外，数据并行训练中所需的带宽与可训练权重的数量成比例。因此，随着每个节点计算速度的提高，所需的网络带宽也随之增加。这篇文章主要是根据阈值进行梯度的稀疏化和量化操作，从而降低分布式训练中的通信开销。稀疏化指的是只传输那些比较重要的梯度 阅读全文
posted @ 2020-04-11 21:21 shuo-ouyang 阅读(496) 评论(0) 推荐(0) 编辑