2022年2月9日
为什么交叉熵和KL散度在作为损失函数时是近似相等的
摘要： 在本文中，我们将介绍熵、交叉熵和 Kullback-Leibler Divergence [2] 的概念，并了解如何将它们近似为相等。 尽管最初的建议使用 KL 散度，但在构建生成对抗网络 [1] 时，在损失函数中使用交叉熵是一种常见的做法。这常常给该领域的新手造成混乱。当我们有多个概率分布并且我们 阅读全文
posted @ 2022-02-09 10:58 deephub 阅读(117) 评论(0) 推荐(0) 编辑