逻辑斯蒂和最大熵-李航
1、逻辑斯蒂分布
sigmoid 曲线
二项逻辑斯蒂回归模型,实际上是二项判别模型。
基于逻辑斯蒂的似然函数等于每个取值的概率之积。对数似然是对他们取log
多项逻辑斯蒂回归,实际是二项的扩展。
2、最大熵模型
由5.2.2节的熵模型。使我们需要的公式。
所谓最大熵,是指83页定义的条件熵的最大熵。
我们知道这个熵模型实际上是带负号的,负号变边,将求最大问题变成求最小问题,即凸函数问题。
A、引进拉格朗日问题,将该问题变换为拉格朗日问题,由对偶性质,得到求最小值的最大值,最小值可由求导得到,最大值可由求偏导得到。
3、最大似然估计
由最大似然估计得到最大似然估计的表达式
4、迭代尺度算法
5、拟牛顿法
45明天一起把代码弄出来
posted on 2018-05-17 22:57 maxwell_tesla 阅读(216) 评论(0) 编辑 收藏 举报