机器学习之相关数学基础

机器学习数学部分常用相关概念:

高等数学

1）函数

2）极限

3）导数

4）极值和最值

5）泰勒级数

6）梯度

7）梯度下降

线性代数

1）基本概念

2）行列式

3）矩阵

4）最小二乘法

5）向量的线性相关性

概率论

1）事件

2）排列组合

3）概率

4）贝叶斯定理

5）概率分布

6）期望和方差

7）参数估计

 

视频学习内容：点我

1）P2 概率论与贝叶斯先验

2）P3 矩阵和线性代数

机器学习是一门多领域交叉学科，涉及较多的数学知识，本节课知识之前都有学过，这次根据重点重新梳理一遍，一定要多加重视。通过观看视频，大家对课程的数学基础部分加深印象。

建议大家边看边做笔记，记录要点及所在时间点，以便有必要的时候回看。学习笔记也是作业的一部分。

 

要求

（1）贴上视频学习笔记，要求真实，不要抄袭，可以手写拍照。

1）P2 概率论与贝叶斯先验

　　视频中学习的笔记记录（公式）

 

 

2）P3 矩阵和线性代数

　　矩阵和线性代数主要内容有如下几点：

 

用到的线性代数知识有：

1.方阵的行列式之间的运算

2.代数余子式

3.范德蒙行列式Vandermonde

4.矩阵的乘法

5.矩阵的秩

6.秩与线性方程组的解的关系

7.正交阵

8.特征值和特征向量

9.正定阵

 

（2）用自己的话总结“梯度”，“梯度下降”和“贝叶斯定理”，可以word编辑，可做思维导图，可以手写拍照，要求言简意赅、排版整洁。

　　梯度的本意是一个向量（矢量），表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模）。简单说在单变量的实值函数的情况，梯度只是导数，或者，对于一个线性代数，也就是线的斜率。

　　梯度下降是迭代法的一种,可以用于求解最小二乘问题(线性和非线性都可以)。在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降是最常采用的方法之一。简单说就是从山顶上找一个最快，最陡峭的路线下山。

贝叶斯定理：贝叶斯公式是建立在条件概率的基础上寻找事件发生的原因（即大事件A已经发生的条件下，分割中的小事件

的概率），设

是样本空间Ω的一个划分，则对任一事件A（P(A)>0)，有贝叶斯定理：

对于特征集合x，我们想要知道样本在这个特征集合x下属于哪个类别，即求后验概率P(c|x)最大的类标记。这样基于贝叶斯公式，可以得到：

　　贝叶斯定理是用来描述两个条件概率之间关系的定理，比如P(A|B)和P(B|A)，通常，事件A在事件B发生的条件下的概率{P(A|B)}与事件B在事件A的条件下的概率{P(B|A)}是不一样的，但是这两者之间有确定的关系，贝叶斯法则就是这种关系的陈述。