导数、偏导数、梯度

求导公式：

• $C' = 0 \quad (C为常数)$

• ${(x^n)}' = n x^{n-1}$

• ${(e^x)}' = e^x$

• ${(a^x)}' = \ln(a)a^x$

• ${(\ln(x))}' = \dfrac 1 x$

• ${(\log_a(x))}' = \dfrac 1 {\ln(a)x}$

• ${(\sin x)}' = \cos x$

• ${(\cos x)}' = -\sin x$

• ${(\tan x)}' =\dfrac 1 {\cos ^2 x}$

• ${(\cot x)}' =-\dfrac 1 {\sin ^2 x}$

求导法则：

• ${(Cf(x))}' = C f'(x)$
• ${(af(x) + bg(x))}' = a f'(x) + bg'(x)$
• ${(f(x)g(x))}' = f'(x)g(x) + f(x) g'(x)$
• ${(f(x)g(x)h(x))}' = f'(x)g(x)h(x) + f(x) g'(x)h(x) + f(x)g(x)h'(x)$
• ${\left (\dfrac {f(x)} {g(x)} \right )}' = \dfrac {f'(x)g(x) - f(x) g'(x)} {(g(x))^2}$

链式法则：

牛顿记法： ${(f[g(x)])}' = f'[g(x)] g'(x)$
或用莱布尼茨记法：$\dfrac {\rm {d f[g(x)]} } {\rm {dx}} = \dfrac {\rm {d f[g(x)]} } {\rm {d [g(x)]}} \dfrac {\rm {dg(x)} } {\rm {dx}}$
牛顿记法中，$f'(t)$表示的是关于$t$的导数，而$(f)'$表示的是关于$x$的导数。莱布尼茨记法中分号下面$\dfrac {\rm {df}} {\rm {dt}}$表示的就是关于$t$的导数

---

偏导数：

如果是多变量函数，如$f(x,y)=by^2+axy+cx+d$（几何上对应三维空间下的一个曲面），我们可以取$x=x_0$（几何上对应三维空间下的一个平面）代入，就会得到一个单变量函数：$f_{x_0}( y)=by^2+ax_0y+cx_0+d$（几何上对应位于$x=x_0$平面上的一条曲线，实际就是曲面和平面的相交线）。对这个新函数$f_{x_0}$，我们可以求其关于y的导函数：$(f_{x_0}(y))' = 2by + ax_0$，此时的导数相当于曲面$f$在$x_0$处的$y$方向上的变化率。

$f$对于任意$x$值，都有一个单变量函数相对应（想象用所有垂直与x轴的平面与曲面相交）。这些单变量函数关于$y$的导函数的形式，都跟$f$在$x=x_0$处的曲线$f_{x_0}$，关于$y$的导函数的形式一样（只不过把式中的$x_0$值换为其他值）：$(f_{x}(y))' = 2by + ax$。我们称其为$f$关于$y$的偏导数：$\dfrac {\partial {f(x,y)}} {\partial y}$。反映了曲面在$y$方向上的变化率。

推广到更多变量的函数，用一个超平面去和其相交，也能得到一个单变量函数。这个单变量函数的导数就是其在此单变量方向上的变化率。所以要求函数关于一个变量的偏导数，只需要将其他变量看作常数，如$f(x,y)=by^2+axy+cx+d$求$f$关于$y$的偏导数就是把$x$当作常量看待对其求导： $\dfrac {\partial {f(x,y)}} {\partial y} = 2by + ax$

梯度：

一个函数，如：$f(x, y)$，其在点$(x,y)$上的关于$x$和$y$的偏导数组成的向量$\left [\dfrac {\partial f} {\partial x}, \dfrac {\partial f} {\partial y} \right ]$，就是$f$在点$(x,y)$的梯度。
梯度是一个向量值函数，向量值函数的值域为一个线性空间或线性空间的子集，是一个标量点到向量的映射，记作：$\nabla f$。

标量值函数$f$在点$a$的梯度记为$\nabla f(a)$。

梯度的含义：假设$f(x, y)$是三维空间中一个曲面，则$f$在点$a$的梯度是一个二维向量。点$a$沿梯度方向增加（自变量）值，函数值增长是最快的。而且梯度大小（向量长度）代表自变量增加一个单位向量，函数值的最大变化量。

向量场是把空间中的每一点指派到一个向量的映射，所以梯度就是一个向量场。

线性空间：线性空间里的元素有两种运算（加法和数乘），而且经过这两种运算（就是线性变换）得到的元素还在同一个线性空间中（所谓对这两种运算封闭）。
线性空间也叫向量空间。

凸函数：

一个函数是凸的当且仅当其上境图（在函数图像上方的点集）为一个凸集
凸集就是集合内任意两点的连线上的点也都属于此集合。
（在国内数学教程，凸函数的概念有时被叫做凹函数）