逻辑回归

一.线性回归模型

\(y_i=a_ix+b_i,b_i是噪声\)
\(通常可以写成 y=Ax+b,y\in R^m, A\in R^{m\times n},x\in R^n,b\in R^m,m是样本量,n是维度\)

二.从概率角度看待逻辑回归

\(则从概率的角度看,需要将最大似然函数求最大值\)
\(即max\{P(y_i=1|x_i)P(y_i=0|x_i)\},因为逻辑回归y只有0，1\)
\(令P(y=1|x)=p,则P(y=0|x)=1-p\)
\(考虑p=P(y=1|x),y的值域是[0,1]定义域是(-\infty,+\infty),显然要有一个函数将(-\infty,+\infty) 映射到 [0,1]\)
\(引入sigmod函数,P(y=1|x)=\frac{1}{1+e^{-{wx+b}}}=\frac{e^{wx+b}}{1+e^{wx+b}},两种表达式都可以\)
\(为了书写方便令 w = (w_1,w_2,...,b)^T,x=(x_1,x_2,...,1)^T,所以wx+b表示为wx,w是权重\)
\(所以P(y=1|x)=\frac{e^{wx}}{1+e^{wx}}\)
\(则P(y=0|x)=1-\frac{e^{wx}}{1+e^{wx}}=\frac{1}{1+e^{wx}}\)

\(最大似然函数MLE = \prod_{i=1}^{n} P(y=1|x_i)P(y=0|x_i) = \prod_{i=1}^{n} (\frac{e^{wx_i}}{1+e^{wx_i}})^{y_i} (\frac{1}{1+e^{wx_i}})^{1-y_i}\)
\(L(w)= \prod_{i=1}^{n} (\frac{e^{wx_i}}{1+e^{wx_i}})^{y_i} (\frac{1}{1+e^{wx_i}})^{1-y_i}\)
\(ln L(w)= \sum_{i=1}^{n} {y_i}ln (\frac{e^{wx_i}}{1+e^{wx_i}}) + \sum_{i=1}^{n} ({1-y_i} )ln(\frac{1}{1+e^{wx_i}})\)
\(lnL(w)=\sum_{i=1}^{n}[y_i(wx_i)-ln(1+e^{wx_i})]\)

三.凸性

\(对于任意x_i,令g(x)= y(wx)-ln(1+e^{wx})\)
\(当y=1,g(x)=wx-ln(1+e^{wx})=-ln(1+e^{-wx})\)
\(\frac{\partial g(x)}{\partial x}=\frac{w}{1+e^{wx}}\)
\(\frac{\partial^2 g(x)}{\partial x^2}=\frac{-w^2e^{wx}}{(1+e^{wx})^2} \le 0,是凹函数\)
\(当y=0,g(x)=-\ln(1+e^{wx})\)
\(同样算二阶导,也是凹函数\)

四.案例

\(\color{red}{待补充...}\)