《python深度学习》笔记---4.5、机器学习的通用工作流程
《python深度学习》笔记---4.5、机器学习的通用工作流程
一、总结
一句话总结:
开发过拟合的模型。
基于模型在验证数据上的性能来进行模型正则化与调节超参数
1、广泛使用的分类指标ROC AUC 就不能被直接优化?
优化 ROC AUC 的替代指标:因此在分类任务 中,常见的做法是优化 ROC AUC 的替代指标,比如交叉熵。一般来说,你可以认为交叉熵越小, ROC AUC 越大。
2、为模型选择正确的最后一层激活和损失函数?
二分类问题:sigmoid:binary_crossentropy
多分类、单标签问题:softmax:categorical_crossentropy
多分类、多标签问题:sigmoid:binary_crossentropy
回归到任意值:无:mse
回归到 0~1 范围内的值:sigmoid:mse 或 binary_crossentropy
3、机器学习中无处不在的对立是优化和 泛化的对立?
模型必须先过大或者过小:理想的模型是刚好在欠拟合和过拟合的界线上,在容量不足和容量过大的界线上。 为了找到这条界线,你必须穿过它。
4、要搞清楚你需要多大的模型,就必须开发一个过拟合的模型?
(1) 添加更多的层。
(2) 让每一层变得更大。
(3) 训练更多的轮次。
5、模型正则化与调节超参数?
添加 dropout。
尝试不同的架构:增加或减少层数。
添加 L1 和 / 或 L2 正则化。
尝试不同的超参数(比如每层的单元个数或优化器的学习率),以找到最佳配置。
(可选)反复做特征工程:添加新特征或删除没有信息量的特征。
6、每次使用验证过程的反馈来调节模型,都会将有关验证过程的信息泄露到模型中?
验证数据集迭代过多次会导致信息泄露:如果只重复几次,那么无关紧要;但如果系统性地迭代许多次,最终会导致模型对验证过程过 拟合(即使模型并没有直接在验证数据上训练)。这会降低验证过程的可靠性。
二、内容在总结中
博客对应课程的视频位置:
版权申明:欢迎转载,但请注明出处
一些博文中有一些参考内容因时间久远找不到来源了没有注明,如果侵权请联系我删除。
在校每年国奖、专业第一,加拿大留学,先后工作于华东师范大学和香港教育大学。
2024-09-05:27岁,宅加太忙,特此在网上找女朋友,vx:fan404006308
AI交流资料群:753014672