摘要： 本系列笔记内容参考来源为李航《统计学习方法》 知识概要 最大熵原理认为学习概率模型时，熵最大的模型是最好的模型。 设离散随机变量X的概率分布是P(X)，则其熵是 最大熵模型定义 首先考虑模型应满足的条件，给定训练数据集，可确定联合分布P（X,Y）的经验分布和边缘分布P（X）的经验分布 最大熵模型的学 阅读全文

摘要： 本系列笔记内容参考来源为李航《统计学习方法》 逻辑斯谛回归模型 逻辑斯谛分布 二项逻辑斯谛回归模型 从对数几率角度理解模型 考察逻辑斯谛回归模型的特点，引入LR模型的定义： LR模型表达式为参数化的逻辑斯谛函数，（默认μ=0，γ=1），即 上式表示事件结果y=1的概率取值。x∈Rn+1，y∈{1，0 阅读全文