人工智能必备数学知识02

阅读目录(Content)

• 8. 数据科学的几种分布
• 9. 核函数变换
• 10. 熵与激活函数
• 熵
• 激活函数
• 11. 回归分析
• 12. 假设检验
• 13. 相关分析
• 14. 方差分析
• 15. 聚类分析
• 16. 贝叶斯分析

 

回到顶部(go to top)

8. 数据科学的几种分布

 出发点

如果我的数据有足够多的可利用的信息，那么我可以直接做我喜欢的事了，

但是现在如果没有那么多的信息，我可不可以在数学上进行一些投机呢？

低维（比如我只知道一个人的年龄，性别，那我能对她多了解吗？）

高维（比如我知道他从出生开始，做过哪些事，赚过哪些钱等）

如果我们对数据更好的了解（是机器去了解他们，我们不需要认识啦）

得到的结果不也会更好嘛。

 

 

回到顶部(go to top)

9. 核函数变换

 出发点

如果我的数据有足够多的可利用的信息，那么我可以直接做我喜欢的事了，但是现在如果没有那么多的信息，我可不可以在数学上进行一些投机呢？

低维（比如我只知道一个人的年龄，性别，那我能对她多了解吗？）

高维（比如我知道他从出生开始，做过哪些事，赚过哪些钱等）

如果我们对数据更好的了解（是机器去了解他们，我们不需要认识啦）得到的结果不也会更好嘛。

二维  ---->  三维 

线性核函数

Linear核函数对数据不做任何变换。K(x_i, X_j) = xi^T X_j

何时来使用呢？特征已经比较丰富了，样本数据量巨大，需要进行实时得出结果的问题。

不需要设置任何参数，直接就可以用了。

 

多项式核函数

核函数

高斯核函数

 

 

 

看起来不错，但是它对参数是极其敏感的，效果差异也是很大的！

决策边界会怎么样呢？（σ越小，切分的越厉害，越容易过拟合）

 

回到顶部(go to top)

10. 熵与激活函数

熵

什么是熵？

物体内部的混乱程度。（一件事发生的不确定性）

所有的概率值都是0-1之间，那么最终的H(X)必然也是一个正数啦！

熵值大小意味着什么呢？

　　杂货市场 VS 苹果专卖店

信息熵

 

熵是如何应用在分类任务中呢？

想象一个分类任务，我们希望得到的结果是什么样呢？

• A[1,1,1,1,1,1,1,1,1,1]
• B[1,2,3,4,5,2,3,4,5,1]

显然A集合才是我们希望得到的结果，它在熵值熵的表现呢？

激活函数

激活函数性质

非线性：让模型表现能力更强

单调性，可微性，输出值范围是有限的

常见的激活函数：Sigmoid Tanh Relu 等

 

Sigmoid函数

Sigmoid 是常用的非线性的激活函数

能够把连续值压缩到0-1区间上

缺点：杀死梯度，非原点中心对称

 

Sigmoid函数

输出值全为整数会导致梯度全为正或者全为负

优化更新会产生阶梯式情况

 

Tanh函数

原点中心对称

输出在-1到1之间

梯度消失现象依然存在

 

Relu函数

公式简单实用

解决了梯度消失现象，计算速度更快

 

 

Leaky ReLU

解决了Relu会杀死一部分神经元的情况

 

 

 

 

 

 

回到顶部(go to top)

11. 回归分析

回到顶部(go to top)

12. 假设检验

回到顶部(go to top)

13. 相关分析

回到顶部(go to top)

14. 方差分析

回到顶部(go to top)

15. 聚类分析

回到顶部(go to top)

16. 贝叶斯分析