2017年9月20日
信息论基本概念 - 各种熵的解释
摘要： 文章导读： 1. 熵 2. 联合熵和条件熵 3. 互信息 4. 相对熵 5. 交叉熵 6. 困惑度 7. 模拟信道模型 最近在看《统计自然语言处理》，觉得第二章预备知识里的关于信息论的一些基本概念总结得很不错。虽然对于熵这个词，我接触过很多次，在机器学习里的很多地方也都有涉及到，比如说最大熵模型，决 阅读全文
posted @ 2017-09-20 12:14 野路子程序员 阅读(2235) 评论(0) 推荐(1) 编辑