逻辑斯蒂和最大熵-李航

1、逻辑斯蒂分布

sigmoid 曲线

二项逻辑斯蒂回归模型，实际上是二项判别模型。

基于逻辑斯蒂的似然函数等于每个取值的概率之积。对数似然是对他们取log

多项逻辑斯蒂回归，实际是二项的扩展。

2、最大熵模型

由5.2.2节的熵模型。使我们需要的公式。

所谓最大熵，是指83页定义的条件熵的最大熵。

我们知道这个熵模型实际上是带负号的，负号变边，将求最大问题变成求最小问题，即凸函数问题。

A、引进拉格朗日问题，将该问题变换为拉格朗日问题，由对偶性质，得到求最小值的最大值，最小值可由求导得到，最大值可由求偏导得到。

3、最大似然估计

由最大似然估计得到最大似然估计的表达式

4、迭代尺度算法

5、拟牛顿法

45明天一起把代码弄出来