《统计学习方法》笔记六（1） 逻辑斯谛回归

本系列笔记内容参考来源为李航《统计学习方法》

逻辑斯谛回归模型

逻辑斯谛分布

二项逻辑斯谛回归模型

 

从对数几率角度理解模型

考察逻辑斯谛回归模型的特点，引入LR模型的定义：

LR模型表达式为参数化的逻辑斯谛函数，（默认μ=0，γ=1），即

上式表示事件结果y=1的概率取值。x∈Rⁿ⁺¹，y∈{1，0}。θ∈Rⁿ⁺¹是权值向量，其中ω中包含偏置项，即ω=（ω₀，ω₁，...，ω_n），x = （1，x₁，x₂，...，x_n）

一个事件发生的几率（odds）指该事件发生的概率与不发生的概率的比值，可表示为p/(1-p)，对数几率/logit函数是：

从函数映射角度理解逻辑斯谛模型

回归预测

概率解释

多项逻辑斯谛回归