【CV】吴恩达机器学习课程笔记 | 第7章

本系列文章如果没有特殊说明，正文内容均解释的是文字上方的图片
机器学习 | Coursera
吴恩达机器学习系列课程_bilibili

目录

• 7 正则化
• • 7-1 过拟合问题
  • 7-2 (正则化更改)代价函数
  • 7-3 线性回归的正则化
  • 7-4 逻辑回归的正则化

7 正则化

7-1 过拟合问题

• 上图左侧坐标系为欠拟合，用一条直线不能很好的表示这个数据集，偏差很大
• 上图中间为合适的拟合
• 上图右侧为过度拟合，拟合的曲线波动很大，假定函数中的变量过多，虽然代价函数非常接近0，但不能泛化到其他数据集中
  
• 上图为在逻辑回归中的欠拟合、合适的拟合、过度拟合

解决过拟合：
1.减少特征数量
2.正则化

7-2 (正则化更改)代价函数

使用正则化更改代价函数

• 直接使用上图右侧的假定函数及其代价函数会导致过拟合
• 在不去掉${\theta }_3$和${\theta }_4$的前提下，可以在代价函数上加上对于${\theta }_3$和${\theta }_4$的惩罚项：$1000{\theta }_3^2+1000{\theta }_3^2$，（1000只是随便一个比较大的数），加上惩罚项之后的代价函数在运算中会让参数${\theta }_3$和${\theta }_4$变得尽可能小，让${\theta }_3$和${\theta }_4$对假定函数的图像影响变小，这样就可以在保留${\theta }_3$和${\theta }_4$参数的情况下不产生过拟合。

加上惩罚项后的假定函数变为：
$$J(\theta )=\frac{1}{2m}\left[\sum _{i=1}^{m}Cost(h_{\theta }(x^{(i)}),y^{(i)})+1000{\theta }_3^2+1000{\theta }_3^2\right]$$

由于我们一般不知道哪一项会导致过拟合，所以在代价函数中加入正则化项
加入后的代价函数为：
$$J(\theta )=\frac{1}{2m}\left[\sum _{i=1}^{m}Cost(h_{\theta }(x^{(i)}),y^{(i)})+\lambda \sum _{j=1}^n{\theta }_j^2\right]$$
$\lambda$为正则化参数，一般不对${\theta }_0$增加惩罚项，所以$j$从$1$开始

7-3 线性回归的正则化

• 正则化后的梯度下降循环项如上图，由于在代价函数中没有添加对${\theta }_0$的惩罚项，所以对${\theta }_0$的更新分开表示
  
• 对于$j=1,2,3,...,n$的梯度下降项也可化简为上图的式子
• 可以得到$1-\alpha \frac{\lambda }{m}$是一个小于1但非常接近1的数

使用正则化后得到的正规方程为：

• 这里只要$\lambda >0$，那么括号内计算得出的矩阵一定可逆
• 而在原来没有用正则化得出的正规矩阵$\theta =(X^{T}X{)}^{-1}{X}^{T}y$中，如果$m<n$（m为样本数，n为特征数），那么括号内矩阵不可逆（是奇异矩阵），所以正则化也可以应用于样本数小于特征数时的情况，让括号内矩阵可逆

7-4 逻辑回归的正则化

正则化后逻辑回归的代价函数改为：
$$J(\theta )=-\frac{1}{m}\left[\sum _{i=1}^m{y}^{(i)}log(h_{\theta }(x^{(i)}))+(1-y^{(i)})log(1-h_{\theta }(x^{(i)}))\right]+\frac{\lambda }{2m}\sum _{j=1}^n{\theta }_j^2$$

正则化后的梯度下降循环项如上图