迁移学习-微调(fine-tune)的注意事项:
选取微调形式的两个重要因素:新数据集的大小(size)和相似性(与预训练的数据集相比)。牢记卷积网络在提取特征时,前面的层所提取的更具一般性,后面的层更加具体,更倾向于原始的数据集(more original-dataset-specific)。
四个基本原则:
1、新数据集小而且相似时,不建议进行微调,以防止过拟合。最好是只训练线性分类器(只训练后面一层)。
2、新数据集大而且相似时,因为有足够的数据,所以可以对整个网络进行训练微调。
3、新数据集小而且不相似时,因为数据集不相似,所以最好不要在网络最后面的层训练分类器,最好在网络更前一点进行训练。
4、新数据集大而且不相似时,因为数据集足够大,所以有充分的信心可以训练好。随意训练
此外,注意不要随意更改预训练网络的结构,学习率最好选择一个较小的开始。
分类:
深度学习-杂记
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· Linux glibc自带哈希表的用例及性能测试
· 深入理解 Mybatis 分库分表执行原理
· 如何打造一个高并发系统?
· .NET Core GC压缩(compact_phase)底层原理浅谈
· 现代计算机视觉入门之:什么是图片特征编码
· 手把手教你在本地部署DeepSeek R1,搭建web-ui ,建议收藏!
· Spring AI + Ollama 实现 deepseek-r1 的API服务和调用
· 数据库服务器 SQL Server 版本升级公告
· C#/.NET/.NET Core技术前沿周刊 | 第 23 期(2025年1.20-1.26)
· 程序员常用高效实用工具推荐,办公效率提升利器!