吴恩达《机器学习》课程总结(6)_正则化
Q1过拟合的问题
训练集表现良好,测试集表现差。鲁棒性差。以下是两个例子(一个是回归问题,一个是分类问题)
第一个图明显欠拟合,第三个图过度拟合,拟合函数复杂,虽然对于训练集具有很低的代价函数,但是应用到新样本的能力并不高,图二则是两者的均衡。
解决办法:
(1)丢弃一些不能帮助我们正确预测的特征。可以使用工选择保留哪些特征,或者使用一些模型选择的算法来帮忙(PCA);
(2)正则化。保留素有的特征,但是减少参数的大小。
Q2代价函数
其中λ称为正则化参数。
经过正则化处理的模型和原模型的可能对比如如下:
不对θ0正则化。
Q3正则化线性回归
对于j=1,2,3……有:
可以看出,正则化线性回归的梯度下降法的变化在于,每次都会在原有算法的更新规则的基础上令θ值减少了一个额外的值。
正规法一次计算全局最小值
Q4正则化的逻辑回归模型
逻辑回归模型的正规化与线性回归正规化不同点在于h(x)的不同
词汇
1 2 | overfitting problem ---过度拟合 regularization ---正则化 |
作者:你的雷哥
本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须在文章页面给出原文连接,否则保留追究法律责任的权利。
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· AI与.NET技术实操系列:基于图像分类模型对图像进行分类
· go语言实现终端里的倒计时
· 如何编写易于单元测试的代码
· 10年+ .NET Coder 心语,封装的思维:从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热?
· 25岁的心里话
· 基于 Docker 搭建 FRP 内网穿透开源项目(很简单哒)
· 闲置电脑爆改个人服务器(超详细) #公网映射 #Vmware虚拟网络编辑器
· 一起来玩mcp_server_sqlite,让AI帮你做增删改查!!
· 零经验选手,Compose 一天开发一款小游戏!