【吴恩达机器学习】学习笔记——4多元线性回归
1 多元线性回归假设形式
多元线性回归算法的假设函数:
矩阵表示形式:
其中,
2 多元梯度下降
梯度下降算法:
将成本函数代入得:
3 特征缩放
为了使梯度下降算法更快的收敛,我们可以使用特征缩放将每一个特征值(元/属性)限定到[-1,1]的范围。经验值是不得大于[-3,3],不得小于[-1/3,1/3]。
均值归一化:可以利用公式;来缩放特征,其中
是特征值,
是该特征值的均值,
是该特征值的范围或者方差
4 学习速率
如何保证梯度下降算法的正常运行?
如何选择合适的学习速率α?
画出J(θ)为纵坐标,迭代步数为横坐标的曲线。如果曲线不是单调减函数,一般来说,是α太大的原因,试试更小的α即可。
α的选择经验是...,0.001,0.003,0.01,0.03,0.1,0.3,1,3,...
5 特征的选择
有时候将所有的特征直接应用到数据上效果会不太理想,根据现实情况,将某些特征值做一些运算合并成一个特征会取得更好的效果。
有时候,数据的分布并不是线性的,此时可以用多项式回归,将一个多项式,如二次函数或三次函数拟合到数据上。
6 标准方程
求θ,使得J(θ)最小。梯度下降是一种迭代算法,而标准方程法是解析解法。
原理:对所有的θ求偏导,然后令其等于零。,其中X为设计矩阵
,
,
注意:使用标准方程法不需要进行特征归一化
优点:
- 不需要选择学习速率;
- 不需要迭代
缺点:
- 需要计算
,时间复杂度接近O(n3)。当特征数量比较大时,计算耗时会很大。一般,当n>>10000时,选择梯度下降算法。
- 适用模型有限,在线性回归模型中可以作为梯度下降的更优的替代算法。