迁移学习-微调(fine-tune)的注意事项:

选取微调形式的两个重要因素:新数据集的大小(size)和相似性(与预训练的数据集相比)。牢记卷积网络在提取特征时,前面的层所提取的更具一般性,后面的层更加具体,更倾向于原始的数据集(more original-dataset-specific)。

四个基本原则:

1、新数据集小而且相似时,不建议进行微调,以防止过拟合。最好是只训练线性分类器(只训练后面一层)。

2、新数据集大而且相似时,因为有足够的数据,所以可以对整个网络进行训练微调。

3、新数据集小而且不相似时,因为数据集不相似,所以最好不要在网络最后面的层训练分类器,最好在网络更前一点进行训练。

4、新数据集大而且不相似时,因为数据集足够大,所以有充分的信心可以训练好。随意训练

此外,注意不要随意更改预训练网络的结构,学习率最好选择一个较小的开始。

posted @   U_C  阅读(2643)  评论(0编辑  收藏  举报
编辑推荐:
· Linux glibc自带哈希表的用例及性能测试
· 深入理解 Mybatis 分库分表执行原理
· 如何打造一个高并发系统?
· .NET Core GC压缩(compact_phase)底层原理浅谈
· 现代计算机视觉入门之:什么是图片特征编码
阅读排行:
· 手把手教你在本地部署DeepSeek R1,搭建web-ui ,建议收藏!
· Spring AI + Ollama 实现 deepseek-r1 的API服务和调用
· 数据库服务器 SQL Server 版本升级公告
· C#/.NET/.NET Core技术前沿周刊 | 第 23 期(2025年1.20-1.26)
· 程序员常用高效实用工具推荐,办公效率提升利器!
点击右上角即可分享
微信分享提示