逻辑斯蒂回归

1.逻辑斯蒂回归定义

$P(Y=1|x)=\frac{e^{wx}}{1+e^{wx}}$
$P(Y=0|x)=\frac{1}{1+e^{wx}}$

2.参数估计

$逻辑斯蒂回归模型学习时,对于给定的训练数据及T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\},其中,x_i\in R^n,y_i \in \{0,1\},可以应用极大似然估计法估计模型参数,从而得到逻辑斯蒂回归模型$
$设,$
$P(Y=1|x)=\pi(x)=\frac{e^{wx}}{1+e^{wx}}$
$P(Y=0|x)=1-\pi(x)=\frac{1}{1+e^{wx}}$
$似然函数为-这里隐含了一个条件,\color{red}{使用的损失函数是对数熵,线性回归用的是均方根误差}$
$\prod_{i=1}^{N}[\pi(x_i)]^{y_i}[1-\pi(x_i)]^{1-y_i}$
$对数似然函数为$
$L(w)=\sum_{i=1}^{N}[y_i\log \pi(x_i) + (1-y_i)\log (1-\pi(x_i)]$
$=\sum_{i=1}^{N}[y_i\log(\frac{\pi(x_i)}{1-\pi(x_i)}) +\log (1-\pi(x_i))]$
$=\sum_{i=1}^{N}[y_i(w\cdot x_i) -\log (1+e^{w\cdot x_i})]$
$对L(w)求极大值,得到w的估计值$

3.求最优值

$似然函数对w的求导$
$L(w)=\sum_{i=1}^{N}[y_i(w\cdot x_i) -\log (1+e^{w\cdot x_i})]$
$\frac{\partial L(w)}{\partial w}=\sum_{i=1}^{N}y_i\cdot x_i -\frac{1}{1+e^{w\cdot x_i}}e^{w\cdot x_i} \cdot x_i$
$=\sum_{i=1}^{N}y_i\cdot x_i -\frac{x_i\cdot e^{w\cdot x_i}}{1 + e^{w\cdot x_i}}$