KL散度-相对熵

参考

在pytorch中计算KLDiv loss

注意reduction='batchmean',不然loss不仅会在batch维度上取平均,还会在概率分布的维度上取平均。具体见官方文档

x = torch.tensor([[0.1, 0.4, 0.5]])
y = torch.tensor([[0.4, 0.2, 0.4]])

# x去拟合y的分布
kl_xy = nn.KLDivLoss(reduction='batchmean')(torch.log(x), y)
# 0.3266

# y去拟合x的分布
kl_yx = nn.KLDivLoss(reduction='batchmean')(torch.log(y), x)
# 0.2502
posted @   happy_fan  阅读(2337)  评论(0编辑  收藏  举报
编辑推荐:
· DeepSeek 解答了困扰我五年的技术问题
· 为什么说在企业级应用开发中,后端往往是效率杀手?
· 用 C# 插值字符串处理器写一个 sscanf
· Java 中堆内存和栈内存上的数据分布和特点
· 开发中对象命名的一点思考
阅读排行:
· 为什么说在企业级应用开发中,后端往往是效率杀手?
· DeepSeek 解答了困扰我五年的技术问题。时代确实变了!
· 本地部署DeepSeek后,没有好看的交互界面怎么行!
· 趁着过年的时候手搓了一个低代码框架
· 推荐一个DeepSeek 大模型的免费 API 项目!兼容OpenAI接口!
点击右上角即可分享
微信分享提示