李航统计学习方法(第二版)（十二）：最大熵模型

1 简介

 最大熵原理是概率模型学习的一个准则。最大熵原理认为，学习概率模型时，在所有可能的概率模型(分布)中，熵最大的模型是最好的模型。
通常用约束条件来确定概率模型的集合，所以，最大熵原理也可以表述为在满足约束条件的模型集合中选取熵最大的模型。

2 模型

2.1 特征函数

 

2.2 特征函数期望

 

 

 2.3 模型

2.3.1 模型的一般形式

 

 

 

 

 

2.3.2 模型的对偶形式

3 学习策略

3.1 学习过程

 

 

 

 3.2 对偶问题的解

4 算法

4.1 改进的迭代尺度法

4.2 拟牛顿法