熵,交叉熵,Focalloss

https://zhuanlan.zhihu.com/p/149186719

香农首次提出熵的定义,目的寻找一种高效/无损地编码信息的方法:以编码后数据的平均长度来衡量高效性,平均长度越小越高效;同时还需满足“无损”的条件,即编码以后不能呢个有原始信息的丢失。所以熵的定义是:无损编码事件信息的最小平均编码长度。

熵的计算:

假设一个信息事件有8种可能状态(用N表示),假设各个状态等可能性,需要多少位的二进制来编码这8个值呢?

计算公式: log28=3

每种状态的可能性P=1/N

log2N=-log21/N=log2P

计算平均最小长度(熵):Entropy=ΣP(xi)log2P(xi)

熵是理论上的平均最小编码长度,所以交叉熵只可能大于等于熵

交叉熵用P,Q表示 H(P,Q), P为真实概率分布,Q为预测概率

H(P1,  Q1)=-ΣP1(i)log2Q1(i)

二分类交叉熵损失函数

H(P,Q)=-ΣP(i)logQ(i)=-P(cat)logQ(cat) -  (1-P(cat))log(1-P(cat))

Focalloss用于解决前景要素和背景要素不平衡的问题,r为超参数

FocalLoss=-y(1-p)rlog(p) - (1-y)prlog(1-p)

posted @ 2024-07-24 15:20  FigureOut  阅读(35)  评论(0编辑  收藏  举报