梯度下降与梯度上升

一、梯度下降之于机器学习

1、什么是梯度

在单变量的函数中，梯度其实就是函数的微分，代表着函数在某个给定点的切线的斜率
在多变量函数中，梯度是一个向量，向量有方向，梯度的方向就指出了函数在给定点的上升最快的方向。

2、什么是梯度下降算法

梯度下降法的基本思想可以类比为一个下山的过程。
最高效的下山方法是怎么样的呢？首先以他当前的所处的位置为基准，寻找这个位置最陡峭的地方，然后朝着下降方向走一步，然后又继续以当前位置为基准，再找最陡峭的地方，再走直到最后到达最低处；同理上山也是如此，只是这时候就变成梯度上升算法。

梯度下降的基本过程就和下山的场景很类似。首先，我们有一个可微分的函数。在机器学习领域，函数一般为损失函数，这个函数就代表着一座山。我们的目标就是找到这个函数的最小值，也就是山底。最快走到山底需要沿着最陡峭的方向走，对应到函数中，就是找到给定点的梯度 ，然后朝着梯度相反的方向，就能让函数值下降的最快。因为梯度的方向就是函数之变化最快的方向。
数学公式为：

3、总结

梯度下降的含义大概可以理解为：
梯度下降算法的目的为了寻找最佳参数，使得表征拟合曲线与真实值误差的损失函数值最小。其通过不断沿着函数最快的下降方向移动，从而实现最高效地找到最小值，进而找出最小值对应的最优参数。

二、梯度上升

类比于梯度下降，即寻找最大值。实施上，沿着梯度的正方向行进。数学公式如下：