导数、梯度和极值
这三个概念有区别又有联系，首先先上定义。
导数（Derivative）是微积分学中重要的基础概念。
一个函数在某一点的导数描述了这个函数在这一点附近的变化率。导数的本质是通过极限的概念对函数进行局部的线性逼近。导数的一般定义如下：
可见在
处的导数是
趋向于零时候上式的极限。
极限（Limit）它描述函数值在接近某一给定的自变量时的特征，定义如下：
对于任意的，必存在一个
，使得若
，则
，则称
为
当
时的极限。
下面看一个例子：
求椭圆面在点（1,1，1）处的切平面及法线方程。
解：
切平面方程为
即：
法线方程为
其中，是
的偏导数。
再看形如之类的函数，求导得到
，这就是切线的斜率，然后
就得到了
处的切线。
不禁有人会问，这二者看似无关，都是求的导数，怎么一个是法向量一个是切线斜率，二者有什么联系吗？
其实看导数的定义就可以知道，y=f(x)这类的函数的导数f'(x)是对x求导，故反应的是y的值随着x的变化率，比如y=x^2的导数为y=2x，说明y在x方向的变换速度是2x。
如果把y=f(x)写成f(x)-y=0，这时偏导数为(f'(x), -1),切平面方程为，这里就能清楚的看出切平面方程其实是从二维推到N维的，所以能够反推回来。
下面讲梯度这个问题，有个优化算法叫梯度下降算法，使每次优化迭代计算都按照最优的方向（额，下降时就是梯度的负方向）进行计算。首先能看出梯度应该是一个矢量，有大小有方向。那么什么是梯度呢，
这里给出维基百科的解释：
梯度（Gradient）： 在向量微积分中，标量场的梯度是一个向量场。标量场中某一点的梯度指向在这点标量场增长最快的方向（当然要比较的话必须固定方向的长度），梯度的绝对值是长度为1的方向中函数最大的增加率，也就是说 ，其中
代表方向导数。以另一观点来看，由多变数的泰勒展开式可知，从欧几里得空间Rn到R的函数的梯度是在Rn某一点最佳的线性近似。在这个意义上，梯度是雅可比矩阵的一个特殊情况。
在单变量的实值函数的情况，梯度只是导数，或者，对于一个线性函数，也就是线的斜率。
这句比较清楚，梯度在实值函数就是偏导数！一般来讲，求函数的极值会先去求导数，然后令导数等于零，这个点不一定是极值，但是一定是极值的必要条件，也就是说极值点的导数必为零。从定义不难看出，
偏导数或导数反应的是函数在这一点附近的变化率，所以极值点附近（这里是无线近）的变换率应为零。
通过上述可以知道，在实值函数里面，偏导数就是梯度，而且也是该点的法向量。
（自己一点浅见，有问题欢迎指正）
