统计学习方法 李航 逻辑斯谛回归与最大熵模型
介绍了分布函数和概率密度,函数特点.
这里的逻辑斯谛回归模型就是为了将实数范围映射到(0,1)范围上.即将线性函数外套上sigmoid函数.
https://blog.csdn.net/hfutxiaoguozhi/article/details/78843932 这篇博客对此解释非常好.
既然已经有了模型,接下来就是求参数了,所以转换成似然函数最优化问题,然后一般就是梯度下降了.
这里推广到多项不是太理解,网上也没找到什么有用的解释.
这里的最大熵原理大概就是未知就假定等概率.
实在看不懂
这里实际上就是这个模型的解法,没什么难点
一些证明,略过.
这些是最优化算法,表示看不懂,我就会一个梯度下降.