最大熵模型 Maximum Entropy Model

一、熵

熵是随机变量不确定性的度量，不确定性越大，熵值就越大；若随机变量退化成定值，熵为0。

假设离散随机变量X的概率分布为P(x)，则其熵为：

 

二、最大熵原理

最大熵原理认为，学习概率模型时，在所有的可能的概率模型中，熵最大的模型是最好的模型。

通常用约束条件来确定概率模型的集合，所以，熵最大原理也可以描述为在满足约束条件的模型集合中选取熵最大的模型。

三、算法