这一篇文章讲得很好:
https://zhuanlan.zhihu.com/p/36564434
《梯度下降法 —— 经典的优化方法》
核心是这张图:
所以负梯度方向,不是随便得来的,是根据泰勒公式推导得来的。