方向导数梯度

为什么函数在某点处的方向导数有且只有一个最大值

方向导数就是函数在某个方向的导数，也就是函数在某个方向函数值变化快慢的表现，具体看知乎这里

https://www.zhihu.com/search?type=content&q=%E6%96%B9%E5%90%91%E5%AF%BC%E6%95%B0

https://www.zhihu.com/question/26966355/answer/154857139

用xy平面上的一个矢量来表示方向，函数 f(x,y) 在这个方向上的图像，为整个函数向 xoy 平面的投影，是一段有向线段，

一元函数中，A 点的导数是 A 点切线斜率 （如 f=x^2），一元函数中，导数就是函数的变化率

二元函数 f(x, y) 上的 A 点在这个方向上也是有切线的，切线的斜率就是方向导数（A 点在这个方向上的切线，是从投影点向上做垂线）

 

一个曲面上的 A 点，在曲面上可以做无数条过 A 点的曲线

很显然， A 点不止一个方向，而是 360°都有方向，每个方向都是有方向导数的

梯度是方向导数最大的方向，及函数下降最快的方向。。。。。

 

 

梯度下降算法 theta = theta - lr * 损失函数的梯度

指数加权移动平均数 exponentially weighted moving averages