吴恩达机器学习-随堂笔记03

合集 - 自学机器学习(4)

1.吴恩达机器学习-随堂笔记0202-162.吴恩达机器学习-随堂笔记0102-16

3.吴恩达机器学习-随堂笔记0302-19

4.吴恩达机器学习-随堂笔记0402-26

收起

4.1 多元线性回归

4.2 多元梯度下降法

4.3 特征缩放

均值归一化

将梯度下降的速度变得更快， 收敛所需的迭代的次数更少，就是特征缩放。

4.4 学习率（Learning Rate）α

只要学习率足够小，每次迭代之后代价函数J(θ)都会下降。但是α过小，也将导致代价函数下降速度缓慢。

α过大的话将导致如上图红色部分，出现代价函数上升的情况（在函数无误的情况下），同样导致收敛缓慢。

4.5 Normal Equation 正规方程

仅对于线性回归模型，相较于梯度下降，无需选择α，也不需要多次迭代。

此处只需要记住公式使用即可。

但是由于特征数的增加，该公式的计算将会耗费较大的计算资源，“实现逆计算的代价以矩阵维度的三次方增长。”

4.6 正规方程在矩阵不可逆情况下的处理方式

两种情况可能出现不可逆矩阵：

1. 出现多余特征；————删除多余特征（互为线性函数）

2. 特征设置过多，比如：训练样本数m<特征数n；————正则化