训练优化:降低loss
概念:
通常机器学习每一个算法中都会有一个目标函数,算法的求解过程是通过对这个目标函数优化的过程。在分类或者回归问题中,通常使用损失函数(代价函数)作为其目标函数。损失函数用来评价模型的预测值和真实值不一样的程度,损失函数越好,通常模型的性能越好。
refer:https://blog.csdn.net/weixin_37933986/article/details/68488339
________________________________________________________________________________________________
以下的结果是针对模型(faster_rcnn_inception_resnet_v2_atrous_coco)训练多个分类且不同分类的样本集不均匀的实践
让loss快速下降方式
训练集:
Config设置:
a、采用dropout
1 2 | use_dropout: true # false dropout_keep_probability: 0.6 |
b、多阶段学习率,开始设置很高且尽量让其迭代到loss足够的低
1 2 3 4 5 6 7 8 9 10 11 12 13 14 | initial_learning_rate: 0.003 schedule { step: 0 learning_rate: .003 } schedule { step: 30000 learning_rate: .0003 } schedule { step: 45000 learning_rate: .00003 } ...... |
c、为了发现更多的box,对IOC阈值进行调整(与loss没什么关系)
1 2 3 4 5 6 7 8 9 10 | first_stage_nms_iou_threshold: 0.4 second_stage_post_processing { batch_non_max_suppression { score_threshold: 0.0 iou_threshold: 0.5 max_detections_per_class: 100 max_total_detections: 100 } score_converter: SOFTMAX } |
效果:
本博客所有内容均为原创,转载请注明出处!谢谢
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 开发中对象命名的一点思考
· .NET Core内存结构体系(Windows环境)底层原理浅谈
· C# 深度学习:对抗生成网络(GAN)训练头像生成模型
· .NET 适配 HarmonyOS 进展
· .NET 进程 stackoverflow异常后,还可以接收 TCP 连接请求吗?
· 本地部署 DeepSeek:小白也能轻松搞定!
· 基于DeepSeek R1 满血版大模型的个人知识库,回答都源自对你专属文件的深度学习。
· 在缓慢中沉淀,在挑战中重生!2024个人总结!
· Tinyfox 简易教程-1:Hello World!
· 大人,时代变了! 赶快把自有业务的本地AI“模型”训练起来!