机器学习数学基础（二）

目录

• 导数和偏导计算
  • 导数
  • 偏导
• 导数和偏导区别

导数和偏导计算

导数

导数 代表在自变量变化趋于无穷小的时候，函数值的变化与自变量的变化的比值。几何意义是这个点的切线。物理意义是该时刻的（瞬时）变化率。 ​

在一元函数中，只有一个自变量变动，也就是说只存在一个方向的变化率，所以不存在偏导数。一般的，这样定义导数：如果平均变化率的极限存在，即有：

\[\lim_{\Delta x \to 0}{\frac{\Delta y}{\Delta x}}=\lim_{\Delta x \to 0}{\frac{f(x_0+\Delta x)-f(x_0)}{\Delta x}} \]

则称此极限为函数 \(y = f(x)\) 在 \(x_0\) 处的导数。记作 \(f'(x_0)\) 或 \(y'\vert_{x=x_0}\) 或 \(\frac{dy}{dx}\vert_{x=x_0}\) 或 \(\frac{df(x)}{dx}\vert_{x=x_0}\) 。

通俗的说，导数就是曲线在某一点切线的斜率。

偏导

偏导 从导数到偏导数，从曲线到曲面。曲线上的一点，切线有一条；曲面上的一点，切线有无数条。而偏导数就是指多元函数沿着坐标轴的变化率。直观地说，偏导数也就是函数在某一点上沿坐标轴正方向的的变化率。

设函数 \(z=f(x,y)\) 在点 \((x_0,y_0)\) 的领域内有定义，当 \(y=y_0\) 时，\(z\) 可以看作关于 \(x\) 的一元函数 \(f(x,y_0)\) ，若该一元函数在 \(x=x_0\) 处可导，即有

\[\lim_{\Delta x \to 0}{\frac{f(x_0+\Delta x,y_0)-f(x_0,y_0)}{\Delta x}}=A \]

函数的极限 \(A\) 存在。那么称 \(A\) 为函数 \(z=f(x,y)\) 在点 \((x_0,y_0)\) 处关于自变量 \(x\) 的偏导数，记作 \(f_x(x_0,y_0)\) 或 \(\frac{\partial z}{\partial x}\vert_{y=y_0}^{x=x_0}\) 或 \(\frac{\partial f}{\partial x}\vert_{y=y_0}^{x=x_0}\) 或 \(z_x\vert_{y=y_0}^{x=x_0}\) 。

某点 \((x_0,y_0)\) 处的偏导数的几何意义为曲面 \(z=f(x,y)\) 与面 \(x=x_0\) 或面 \(y=y_0\) 交线在 \(y=y_0\) 或 \(x=x_0\) 处切线的斜率。

导数和偏导区别

导数和偏导没有本质区别，如果极限存在，都是当自变量的变化量趋于 \(0\) 时，函数值的变化量与自变量变化量比值的极限。

• 一元函数，一个 \(y\) 对应一个 \(x\) ，导数只有一个。
• 二元函数，一个 \(z\) 对应一个 \(x\) 和一个 \(y\) ，有两个导数：一个是 \(z\) 对 \(x\) 的导数，一个是 \(z\) 对 \(y\) 的导数，称之为偏导。
• 求偏导时要注意，对一个变量求导，则视另一个变量为常数，只对改变量求导，从而将偏导的求解转化成了一元函数的求导。