多分类模型训练使用交叉熵损失的一个注意的点

使用交叉熵损失的网络模型最后一层不要用softmax，交叉熵损失函数会在计算的时候做softmax，如果用了会导致模型训练异常，

如果模型最后一层有softmax，则损失函数要写成

loss_fun = nn.NLLLoss()
x = model(data)
loss = loss_fun(torch.log(x), label)

 

posted @   Liang-ml  阅读(19)  评论(0)  编辑  收藏  举报
相关博文：
·  softmax函数、交叉熵损失函数与多分类问题
·  pytorch相关知识点
·  pytorch 多分类中的损失函数
·  分类问题与交叉熵损失函数
·  softmax和crossentropy
阅读排行：
· 震惊！C++程序真的从main开始吗？99%的程序员都答错了
· winform 绘制太阳，地球，月球 运作规律
· 【硬核科普】Trae如何「偷看」你的代码？零基础破解AI编程运行原理
· 上周热点回顾（3.3-3.9）
· 超详细：普通电脑也行Windows部署deepseek R1训练数据并当服务器共享给他人
点击右上角即可分享
微信分享提示
AI IDE Trae