梯度与梯度下降（上升）算法

梯度与梯度下降（上升）算法

方向导数与偏导数

设函数\(z=f(x,y)\)在点\(P(x,y)\)的某一领域\(U(P)\)内有定义。自点\(P\)引射线\(l\)。设\(x\)轴正向到射线\(l\)的转角为\(\varphi\)，并设\(P'(x+\Delta x, y + \Delta y)\)为\(l\)上的另一点且\(P'\in U(p)\)。

考虑

\[\lim_{\rho\rightarrow 0}\dfrac{f(x+\Delta x,y + \Delta y)-f(x,y)}{\rho} \]

若此极限存在，则称此极限为函数\(f(x,y)\)在点\(P\)沿方向\(l\)的方向导数，记作\(\dfrac{\partial f}{\partial l}\)，即

\[\dfrac{\partial f}{\partial l}=\lim_{\rho\rightarrow 0}\dfrac{f(x+\Delta x,y + \Delta y)-f(x,y)}{\rho} \]

其中\(\rho=\sqrt{(\Delta x)^2+(\Delta y)^2}\)。

• 如果函数\(z=f(x,y)\)在\(P(x,y)\)是可微分的，那么函数在改点的任一方向\(l\)的方向导数都存在，且有

  \[\dfrac{\partial f}{\partial l}=\dfrac{\partial f}{\partial x}\cos \varphi + \dfrac{\partial f}{\partial y}\sin\varphi \]

  其中\(\varphi\)为\(x\)轴到方向\(l\)的夹角。

  简要证明

  \[\begin{align*} f(x+\Delta x, y + \Delta y) - f(x,y) &= \frac{\partial f}{\partial x}\Delta x + \frac{\partial f}{\partial y}\Delta y + o(\rho) \\ \dfrac{f(x + \Delta x,y + \Delta y) - f(x,y)}{\rho} &= \dfrac{\partial f}{\partial x}\cos\varphi + \dfrac{\partial f}{\partial y}\sin\varphi + \frac{o(\rho)}{\rho}\\ \dfrac{\partial f}{\partial l} &= \lim_{\rho\rightarrow 0}\dfrac{f(x+\Delta x,y + \Delta y)-f(x,y)}{\rho}\\ &= \dfrac{\partial f}{\partial x}\cos\varphi + \dfrac{\partial f}{\partial y}\sin\varphi \end{align*} \]