常见LOSS函数之Cross Entropy(交叉熵)

常见LOSS函数之Cross Entropy(交叉熵)

交叉熵是分类问题常用的损失函数。

熵

熵表示稳定性或者说惊喜度，熵越高表示越稳定，其惊喜度就越低。

image-20230530203221815

示例

image-20230530203309433

一般用H(p)表示熵

交叉熵

image-20230530203537195

交叉熵=熵+散度

散度代表分布的重叠程度，散度越高重合度越少。

image-20230530203831219

当两个分布p和q相等时，散度等于0，此时交叉熵等于熵值。

image-20230530204034767

二分类问题

image-20230530204340837

示例

image-20230530204448250

Softmax与交叉熵

在一般的情况下，Softmax和交叉熵是一起使用的，单独使用会出现数据不稳定的情况。在pytorch中使用时，Softmax被内置在了CrossEntropy中。

image-20230528152648141
posted @   同淋雪  阅读(120)  评论(0)  编辑  收藏  举报
相关博文：
· 常见LOSS函数之MSE
· Pytorch多分类问题实战
· 交叉熵理解
· 常用损失函数 LossFunction
· pytorch损失函数----交叉熵损失函数torch.nn.CrossEntropyLoss()
阅读排行：
· 全程不用写代码，我用AI程序员写了一个飞机大战
· DeepSeek 开源周回顾「GitHub 热点速览」
· MongoDB 8.0这个新功能碉堡了，比商业数据库还牛
· 记一次.NET内存居高不下排查解决与启示
· 白话解读 Dapr 1.15：你的「微服务管家」又秀新绝活了
点击右上角即可分享
微信分享提示