摘要: 从香农熵到手推KL散度:一文带你纵览机器学习中的信息论: 信息论与信息熵是 AI 或机器学习中非常重要的概念,我们经常需要使用它的关键思想来描述概率分布或者量化概率分布之间的相似性。在本文中,我们从最基本的自信息和信息熵到交叉熵讨论了信息论的基础,再由最大似然估计推导出 KL 散度而加强我们对量化分 阅读全文
posted @ 2018-01-10 17:39 Vae永Silence 阅读(636) 评论(0) 推荐(0) 编辑