学习随记

1. 一些算法概念：

• 偏导数构成的向量为梯度；（梯度是一个向量，既有大小又有方向。）
• 方向导数为梯度在该方向上的合成，系数为该方向的单位向量；
• 梯度方向为方向导数最大的方向，梯度的模为最大的方向导数值；
• 梯度垂直于等高线，同时指向高度更高的等高线；
• 隐函数可以看成是一种等高线，其梯度为高维曲面（曲线）的法向量

 

2. BP算法是“误差反向传播”的简称，是一种与最优化方法（如梯度下降法）结合使用的，用来训练人工神经网络的常见方法。该方法对网络中所有权重计算损失函数的梯度。这个梯度会反馈给最优化方法，用来更新权值以最小化损失函数。

关于BP算法一个比较清晰的学习资料：https://www.jiqizhixin.com/graph/technologies/7332347c-8073-4783-bfc1-1698a6257db3

 

3. 特征数量和模型效果之间的关系：https://www.cnblogs.com/LittleHann/p/11730458.html

 

4. 皮尔森相关系数：https://blog.csdn.net/huangfei711/article/details/78456165  （就是两个变量的协方差除以两个变量标准差的乘积，除的操作是为了消除量纲带来的影响。）　

　物理意义
　　皮尔森相关系数反映了两个变量的线性相关性的强弱程度，r的绝对值越大说明相关性越强。

　　当r>0时，表明两个变量正相关，即一个变量值越大则另一个变量值也会越大；
　　当r<0时，表明两个变量负相关，即一个变量值越大则另一个变量值反而会越小；
　　当r=0时，表明两个变量不是线性相关的（注意只是非线性相关），但是可能存在其他方式的相关性（比如曲线方式）；
　　当r=1和-1时，意味着两个变量X和Y可以很好的由直线方程来描述，所有样本点都很好的落在一条直线上。
  pearson是用来反应俩变量之间相似程度的统计量，在机器学习中可以用来计算特征与类别间的相似度，即可判断所提取到的特征和类别是正相关、负相关还是没有相关程度。