损失函数
NLLLoss = -x[class] x为输出张量 class为target 注!数据准备阶段target是一个class_index∈[0,n-1] n = 类别总数 Pytorch会自动转为One-Hot格式 CELoss同理
CELoss = softmax + log + NLLLoss
BCELoss = -[y*log(x) + (1-y)*log(1-x)]
BCEWithLogitsLoss = sigmoid + BCE
FL_loss = -[y*log(x)*α*(1-x)^γ + (1-y)*log(1-x)*(1-α)*x^γ] default α=0.25,γ=2
主要是为了解决正负样本比例严重失衡的问题,该损失函数降低了大量简单负样本在训练中所占的权重。
它是在交叉熵损失函数基础上进行的修改,添加一个α参数权衡正负样本,再添加一个γ参数平衡难易样本
QFL_loss= -[y*log(x)*α + (1-y)*log(1-x)*(1-α)]*|y-x|γ
出现原因:开启smooth_label时,label∈(0~1),但FL_loss只支持 0/1 这样的离散类别,注意最后绝对值中的y在正样本区域为label,在负样本区域为1-label。
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 无需6万激活码!GitHub神秘组织3小时极速复刻Manus,手把手教你使用OpenManus搭建本
· C#/.NET/.NET Core优秀项目和框架2025年2月简报
· Manus爆火,是硬核还是营销?
· 一文读懂知识蒸馏
· 终于写完轮子一部分:tcp代理 了,记录一下