摘要: 目的: 根据标签值与预测值计算损失 交叉熵 $J = \sum\limits_{k}y_k\log{h_k}$ 信息熵可以用来表示信息的不确定程度 相对熵\(KL散度\)可以用来描述两个概率分布之间的差异 相对熵 = 交叉熵 信息熵 在信息熵固定的情况下,优化减小交叉熵也就是优化相对熵 又因为交叉熵 阅读全文
posted @ 2019-09-05 20:21 youqia 阅读(174) 评论(0) 推荐(0) 编辑