最大熵与最大似然，以及KL距离。
摘要：
DNN中最常使用的离散数值优化目标，莫过于交差熵。两个分布p，q的交差熵，与KL距离实际上是同一回事。 $-\sum plog(q)=D_{KL}(p\shortparallel q)-\sum plog(p)$ 交差熵实际上就是KL距离减去熵。 监督学习时，p是目标的分布，无法被改变，能通过训练改 阅读全文
posted @ 2018-01-18 02:39 武松数到五 阅读(1384) 评论(1) 推荐(0) 编辑