pytorch, KL散度,reduction='batchmean'

在pytorch中计算KLDiv loss时,注意reduction='batchmean',不然loss不仅会在batch维度上取平均,还会在概率分布的维度上取平均。

参考:KL散度-相对熵

 

posted @   Picassooo  阅读(1562)  评论(0编辑  收藏  举报
努力加载评论中...
点击右上角即可分享
微信分享提示