统计学习方法学习笔记第六章(逻辑斯谛回归与最大熵模型）

逻辑斯谛分布的分布函数是S型曲线，以(μ，1/2）为中心。

常用的模型是二项逻辑斯谛回归模型，即进行二分类。逻辑斯谛回归模型的对数几率是输入x的线性函数，也就是说可以将线性函数w*x转化为概率，这样线性函数的值越接近正无穷，概率值就越接近1。

逻辑斯谛回归模型可以用极大似然估计来估计模型参数，从而得到逻辑斯谛回归模型，问题转化为了对数似然函数的最优化问题，通常采用梯度下降法或者牛顿法来学习。

最大熵模型由最大熵原理推导而来，在学习概率模型的时候，熵最大的模型就是最好的模型。对离散型变量来说，熵最大就是每一种可能的概率都相等，对于连续型变量来说，就是服从均匀分布。在实际情况中，可能会有一些约束条件，那么最大熵模型的学习就等价于求解约束最优化问题，之后将约束最优化问题转化为无约束最优化的对偶问题，通过求解对偶问题来求得原问题的解。

模型学习的方法有两类。

一类是IIS算法，思想是让对数似然函数的改变量的下界提高，那么对数似然函数也会提高。具体实现时，每次只改变一个变量，固定其它变量。利用琴生不等式可以得到一个没那么紧的下界，求对变量的导数，令其等于0就可以反算出改变量。

第二类是拟牛顿法或者梯度下降法。

https://zhuanlan.zhihu.com/p/122267617