2018年7月9日
Gradient Descent with Momentum and Nesterov Momentum
摘要： 在Batch Gradient Descent及Mini-batch Gradient Descent, Stochastic Gradient Descent(SGD)算法中，每一步优化相对于之前的操作，都是独立的。每一次迭代开始，算法都要根据更新后的Cost Function来计算梯度，并用该梯 阅读全文
posted @ 2018-07-09 20:15 Junfei_Wang 阅读(645) 评论(0) 推荐(0) 编辑