KL散度

 

 又称为相对熵，是描述两种分布之间差异的一种方法。具有非对称性。分布一致时KL散度为0。在VAE,EM,GAN中都有用到。

 

 

 

 

 

 相对熵和交叉熵的关系

交叉熵的公式：

 

 相对熵的公式：

 

posted @ 2022-07-06 17:22  努力修复BUG中  阅读(67)  评论(0)  编辑  收藏  举报