KL散度-相对熵
在pytorch中计算KLDiv loss
注意reduction='batchmean',不然loss不仅会在batch维度上取平均,还会在概率分布的维度上取平均。具体见官方文档
x = torch.tensor([[0.1, 0.4, 0.5]])
y = torch.tensor([[0.4, 0.2, 0.4]])
# x去拟合y的分布
kl_xy = nn.KLDivLoss(reduction='batchmean')(torch.log(x), y)
# 0.3266
# y去拟合x的分布
kl_yx = nn.KLDivLoss(reduction='batchmean')(torch.log(y), x)
# 0.2502
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步