逻辑回归

一.线性回归模型

$y_i=a_ix+b_i,b_i是噪声$
$通常可以写成 y=Ax+b,y\in R^m, A\in R^{m\times n},x\in R^n,b\in R^m,m是样本量,n是维度$

二.从概率角度看待逻辑回归

$则从概率的角度看,需要将最大似然函数求最大值$
$即max\{P(y_i=1|x_i)P(y_i=0|x_i)\},因为逻辑回归y只有0，1$
$令P(y=1|x)=p,则P(y=0|x)=1-p$
$考虑p=P(y=1|x),y的值域是[0,1]定义域是(-\infty,+\infty),显然要有一个函数将(-\infty,+\infty) 映射到 [0,1]$
$引入sigmod函数,P(y=1|x)=\frac{1}{1+e^{-{wx+b}}}=\frac{e^{wx+b}}{1+e^{wx+b}},两种表达式都可以$
$为了书写方便令 w = (w_1,w_2,...,b)^T,x=(x_1,x_2,...,1)^T,所以wx+b表示为wx,w是权重$
$所以P(y=1|x)=\frac{e^{wx}}{1+e^{wx}}$
$则P(y=0|x)=1-\frac{e^{wx}}{1+e^{wx}}=\frac{1}{1+e^{wx}}$

$最大似然函数MLE = \prod_{i=1}^{n} P(y=1|x_i)P(y=0|x_i) = \prod_{i=1}^{n} (\frac{e^{wx_i}}{1+e^{wx_i}})^{y_i} (\frac{1}{1+e^{wx_i}})^{1-y_i}$
$L(w)= \prod_{i=1}^{n} (\frac{e^{wx_i}}{1+e^{wx_i}})^{y_i} (\frac{1}{1+e^{wx_i}})^{1-y_i}$
$ln L(w)= \sum_{i=1}^{n} {y_i}ln (\frac{e^{wx_i}}{1+e^{wx_i}}) + \sum_{i=1}^{n} ({1-y_i} )ln(\frac{1}{1+e^{wx_i}})$
$lnL(w)=\sum_{i=1}^{n}[y_i(wx_i)-ln(1+e^{wx_i})]$

三.凸性

$对于任意x_i,令g(x)= y(wx)-ln(1+e^{wx})$
$当y=1,g(x)=wx-ln(1+e^{wx})=-ln(1+e^{-wx})$
$\frac{\partial g(x)}{\partial x}=\frac{w}{1+e^{wx}}$
$\frac{\partial^2 g(x)}{\partial x^2}=\frac{-w^2e^{wx}}{(1+e^{wx})^2} \le 0,是凹函数$
$当y=0,g(x)=-\ln(1+e^{wx})$
$同样算二阶导,也是凹函数$

四.案例

$\color{red}{待补充...}$