深度学习的数学基础
- 微积分
- 无穷小
在17世纪下半叶,数学史上出现了无穷小的概念,而后发展处极限的概念
- 极限
- 导数
- 微分
- 积分
- 不定积分
也称为原函数或反导数
- 定积分
- 定积分中值定理
- 牛顿-莱布尼茨公式
- 偏导数
- 概率统计
- 样本空间
定义:随机试验 E 的所有结果构成的集合称为 E 的 样本空间,记为 S={e}
称 S 中的元素 e 为样本点,一个元素的单点集称为基本事件.
- 概率
条件概率/后验概率
P(A|B)
边缘概率/先验概率
A的边缘概率表示为P(A),B的边缘概率表示为P(B)
联合概率
全概率公式
贝叶斯公式
- 随机变量
离散型随机变量
对离散随机变量用求和得全概率
定义
(0-1)分布/两点分布/伯努利分布
二项分布
泊松分布(Poisson分布)
连续型随机变量
对连续随机变量用积分得全概率
概率分布函数F(x)
概率密度函数f(x)
均匀分布
X~U(a,b)
指数分布
正态分布/高斯分布
是研究误差分布的一个理论
- 期望
离散型随机变量的期望
连续型随机变量的期望
- 方差(Variance)
一个随机变量的方差( Variance )描述的是它的离散程度,也就是该变量离其期望值的距离
标准差(Standard Deviation)
方差的算术平方根称为该随机变量的标准差。
样本标准差
协方差
相关系数(Correlation coefficient)
协方差矩阵
主成分分析(PCA)
在统计学中被称为主成分分析 (principal components analysis ,简称 PCA) ,在图像处理中称为 Karhunen-Loève 变换 (KL- 变换 ) 。
- 大数定律
大数定律负责给出估计——期望
- 中心极限定理
中心极限定理负责给出大数定律的估计的误差——标准差乘以标准正态分布
大量相互独立的随机变量,其均值(或者和)的分布以正态分布为极限(意思就是当满足某些条件的时候,比如 Sample Size 比较大,采样次数区域无穷大的时候,就越接近正态分布)。而这个定理 amazing 的地方在于,无论是什么分布的随机变量,都满足这个定理。
- MLE(最大似然)
- OLS(最小二乘)
- 样本和抽样
- 置信区间
- 方差分析
- 回归分析
- bootstrap方法
- 马尔可夫链
- 线性代数
- 数值计算
- sigmoid函数
sigmoid函数只能分两类
- Softmax激活函数
softmax能分多类
- logistic函数
- Relu激活函数
- 网络参数
- 梯度下降Gradient Descent
- 学习率Learning Rate
Subtopic
- 误差|损失
均方误差(Mean Squared Error)
交叉熵(Cross-Entropy)
- 损失函数(cost function)
0-1损失函数
当模型输出值=样本值,则为1,否则为0
平方损失函数
(模型输出值 - 样本值)^2
绝对值损失函数
|模型输出值 - 样本值|
对数损失函数
log (Y_模型输出)
posted @
2019-01-02 09:07
大来
阅读(
755)
评论()
编辑
收藏
举报