第6章 逻辑斯谛回归与最大熵模型

第6章  逻辑斯谛回归与最大熵模型

逻辑斯谛回归是统计学习中的经典分类方法。

改进的迭代尺度算法和拟牛顿法。

6.1 逻辑斯谛回归模型

分布函数和密度函数：

 

 

二项逻辑斯谛回归的参数估计法可以推广到多项逻辑斯谛回归。

 

6.2 最大熵模型

最大熵模型的学习归结为对偶函数的极大化。

 

6.2.4 极大似然估计

 

 其中，

 

 

6.3 模型学习的最优化算法

6.3.1 改进的迭代尺度法

算法6.2 最大熵模型学习的BFGS算法

 

最大熵原理应用到分类模型的学习中，有以下约束最优化问题：