2017年10月29日
KL散度、交叉熵与极大似然 的友谊
摘要： 一. 信息论背景 信息论的研究内容，是对一个信号包含信息的多少进行量化。所采用的量化指标最好满足两个条件： （1）越不可能发生的事件包含的信息量越大； （2）独立事件有增量的信息（就是几个独立事件同时发生的信息量等于每一个信息量的和）。 遵循以上原则，定义一个事件$\mathsf{x}=x$的自信息 阅读全文
posted @ 2017-10-29 16:07 jenny1000000 阅读(4812) 评论(0) 推荐(0) 编辑