最大熵模型
摘要：
最大熵模型预备知识 信息量：一个事件发生的概率越小，信息量越大，所以信息量应该为概率的减函数，对于相互独立的两个事有p(xy)=p(x)p(y)，对于这两个事件信息量应满足h(xy)=h(x)+h(y)，那么信息量应为对数函数： 对于一个随机变量可以以不同的概率发生，那么通过信息量期望的方式衡量，即信息熵。 信息熵：一条信息(属性、特征)的信息量大小和它的不确定性... 阅读全文
posted @ 2017-04-11 15:15 LeonHuo 阅读(7549) 评论(0) 推荐(1) 编辑
