2019年2月21日
最大熵与EM算法
摘要： 一、熵、联合熵(相当于并集)、条件熵、互信息 1.熵是什么？ (0)信息量：信息的度量p(xi)。信息量和概率成反比，熵是信息量的期望。 X是一个随机变量，可能取值有很多个。熵是信息量的期望。熵反应的是不确定性，如果不确定性越高，熵越高，概率越低。熵是可以大于1的，但是概率是不可以大于1的 (1)物 阅读全文
posted @ 2019-02-21 15:33 stone1234567890 阅读(229) 评论(0) 推荐(0) 编辑