机器学习中的微积分基础
机器学习中的微积分基础
夹逼定理及重要极限
当x∈U(x0,r)时，有g(x)<=f(x)<=h(x)成立，并且limx→x0g(x)=A,limx→x0h(x)=A,那么limx→x0f(x)=A。
由夹逼定理可以推出一个重要极限：limx→0sin(x)x=1
极限存在定理
数列- 单调有界数列必有极限
导数
- 简单的说，导数就是曲线的斜率。是曲线变化快慢的反应。（微商）
- 二阶导数是斜率变化快慢的反应，表征的是曲线的凹凸性
例如：房价变化的快慢，房价增速变慢，加速度
求导的基本公式：
例：
已知函数f(x)=xx,x>0，求f(x)的最小值。（信息熵会用到）
解：
要求最小值，可以先求该函数的驻点。即求满足f’(x) = 0 的点
要求该函数的导数，可以利用两边去对数的方法。
令 t=f(x)=xx
两边取对数，有 lnt=lnxx=xlnx
两边对x求导，有 1tt′=lnx+1
要求f′(x)=0，则要令t′=0，又t>0，所以必有lnx+1=0
求得x=e−1
则f(x)=e−1e
二次求导可知，该点为极小值点
方向导数与梯度
梯度的方向是函数在该点变化最快的方向
凸函数
泰勒公式
引用：
1: 夹逼定理
2: 导数表
3:方向导数与梯度
4:凸函数百度百科
5:凸函数好搜百科
参考：
7月算法
