训练误差、测试误差、泛化误差的区别
训练过程中的误差,就是训练误差。
在验证集上进行交叉验证选择参数(调参),最终模型在验证集上的误差就是验证误差。
训练完毕、调参完毕的模型,在新的测试集上的误差,就是测试误差。
假如所有的数据来自一个整体,模型在这个整体上的误差,就是泛化误差。通常说来,测试误差的平均值或者说期望就是泛化误差。
综合来说,它们的大小关系为
训练误差 < 验证误差 < 测试误差 ~= 泛化误差
训练过程中的误差,就是训练误差。
在验证集上进行交叉验证选择参数(调参),最终模型在验证集上的误差就是验证误差。
训练完毕、调参完毕的模型,在新的测试集上的误差,就是测试误差。
假如所有的数据来自一个整体,模型在这个整体上的误差,就是泛化误差。通常说来,测试误差的平均值或者说期望就是泛化误差。
综合来说,它们的大小关系为
训练误差 < 验证误差 < 测试误差 ~= 泛化误差
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 10年+ .NET Coder 心语,封装的思维:从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热?
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· AI与.NET技术实操系列:向量存储与相似性搜索在 .NET 中的实现
· 基于Microsoft.Extensions.AI核心库实现RAG应用
· 10年+ .NET Coder 心语 ── 封装的思维:从隐藏、稳定开始理解其本质意义
· 地球OL攻略 —— 某应届生求职总结
· 提示词工程——AI应用必不可少的技术
· Open-Sora 2.0 重磅开源!
· 周边上新:园子的第一款马克杯温暖上架
2019-03-29 ubuntu18.04 递归批量删除op_test_xml/ 目录下 .pyc后缀的文件
2019-03-29 关于reduce的理解
2019-03-29 关于CUDA,cuDNN,TF,CUDA驱动版本兼容问题