Loading

2020年4月10日
INTERSPEECH 2014 | 1-Bit Stochastic Gradient Descent and its Application to Data-Parallel Distributed Training of Speech DNNs
摘要： 这篇文章之前也读过，不过读的不太仔细，论文中的一些细节并没有注意到。最近为了写开题报告，又把这篇论文细读了一遍。据笔者了解，这篇论文应该是梯度量化领域的开山之作，首次使用了梯度量化技术来降低分布式神经网络训练的通信开销。除此之外，这篇文章还提出了误差补偿机制，这种机制可以缓解梯度量化的负面影响，降低 阅读全文
posted @ 2020-04-10 21:28 shuo-ouyang 阅读(693) 评论(0) 推荐(0) 编辑