Multi-Task Learning Using Uncertainty to Weigh Losses for Scene Geometry and Semantics
很多深度学习都是多任务学习(Multi-Task Learning, MTL),需要对多个Loss同时优化,模型的性能受各Loss的权重的影响,手工选择权重成本太高,是不可能的,于是提出了基于Uncertainty的自动学习权重的方式.
下图是一个典型的多任务学习场景,需要同时满足语义分割,实例分割,深度估计的需求.
对于多任务学习,最简单的方法就是把不同Loss的线性组合作为Loss,如下面的式子:
手工调节表明,权重对于模型的性能是有很大影响的:
基于极大似然估计,假设fW为网络输出,W为该项输出的权重,则对于回归任务有:
对于分类任务有:
对于多任务:
如果是双任务:
最后,实验结果:
【推荐】国内首个AI IDE，深度理解中文开发场景，立即下载体验Trae
【推荐】编程新体验，更懂你的AI，立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包，你的智能百科全书，全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell：AI 加持，快人一步
· 10年+ .NET Coder 心语 ── 封装的思维：从隐藏、稳定开始理解其本质意义
· 地球OL攻略 —— 某应届生求职总结
· 提示词工程——AI应用必不可少的技术
· Open-Sora 2.0 重磅开源！
· 字符编码：从基础到乱码解决
2013-12-17 Android使用SAX解析XML(2)
2013-12-17 Android使用SAX解析XML(1)