2.机器学习相关数学基础 4/12

1、学习笔记

（1）概率论与贝叶斯先验

　　　　　　

　　　　　　

　　　　　　

　　· 一些重要截图：

　　　　　　

　　　　　　

　　　　　　

　　　　　　

　　　　　　

（2）矩阵和线性代数

　　　　　　

　　　　　　

　　· 一些重要截图：

　　　　　　

　　　　　　

　　　　　　

　　　　　　

　　　　　　

　　　　　　

　　　　　　

2、用自己的话总结“梯度”，“梯度下降”和“贝叶斯定理”。

（1）梯度：

　　简单的来说，梯度就是一个向量即有方向有大小，也是一个导数。函数f的梯度方向是函数f的值增长最快的方向,最陡的方向，换句话说，在一个场中，函数在某一点处的梯度即为此点方向导数最大值。

（2）梯度下降：

　　　　　　

　　情况1：单调下降，导数为负（梯度为负），要想找到函数的最小值所对应的自变量的值（曲线最低点对应x的值）应该水平向右滑，也就是让x增大，此时随着x增大，函数值是减小（下降）的。

　　情况2：单调上升，导数为正（梯度为正），要想找到函数的自变量的值（曲线最低点对应x的值）应该水平向左滑啦，也就是让x减小，此时随着x减小，函数值减小的。

　　情况1和情况2其实都反映了梯度下降的过程：①根据梯度（导数）的符号来判断最小值点x在哪；②让函数值下降（变小）。梯度下降的作用其实就是找到函数的最小值所对应的自变量的值（曲线最低点对应x的值）。

（3）贝叶斯定理：

　　贝叶斯定理是关于随机事件A和B的条件概率：

　　　　

　　其中P(A|B)是在 B 发生的情况下 A 发生的可能性。

　　比如举个例子来通过实践，更好的了解贝叶斯定理：

　　　　设有两个盒子，A盒子里有7个红球+3个白球，B盒子里有1个红球+9个白球，现在从两个容器里随便抽一个球，问红球来自A容器的概率是多少？

　　　　那么这个例子就要用到贝叶斯公式，假设抽出红球为事件B，来自A容器为事件A，则P（B）=8/20，P（A）=1/2，P（B|A）=7/10（容器A中抽中红球概率），则红球来自容器A，也就是P（A|B）=（7/10）*（1/2）/（8/20）=7/8。