2021年2月1日
交叉熵和对数损失函数之间的关系
摘要： 交叉熵 熵/信息熵 假设一个发送者想传输一个随机变量的值给接收者。这个过程中，他们传输的平均信息量为： 叫随机变量的熵，其中 把熵扩展到连续变量的概率分布,则熵变为 被称为微分熵。 在离散分布下，最大熵对应于变量的所有可能状态的均匀分布。 最大化微分熵的分布是高斯分布 相对熵/KL散度 考虑某个未知 阅读全文
posted @ 2021-02-01 09:38 早起的小虫子 阅读(749) 评论(0) 推荐(0) 编辑