摘要： 一、SGD（梯度下降） 在多变函数中，梯度是一个方向，梯度的方向指出了函数在给定点上升最快的方向，或者说指引了函数值增大的方向，因此我们只要考虑往梯度的反方向走，就至少能走到极小值，可能能走到全局最小值。 二、SGD with momentum（动量法：梯度累加） 动量累加：震荡方向的梯度相互抵消， 阅读全文