逻辑回归学习笔记

逻辑回归

线性回归不适合处理分类问题，因为用连续型函数逼近离散型函数不太靠谱。因此考虑如何修改线性回归方法使其适用于分类问题。

现在给出$(x_1,y_1),(x_2,y_2)...(x_n,y_n),x_i \in R^k,y_i\in \{0,1\}$：

对于$w\in R^k,b\in R,f(x)=w^Tx+b$，那么怎么把它的值域限制在0和1呢？构造$g:R\to (0,1)$，例如$g(x)=\frac{e^x}{1+e^x}=\frac{1}{1+e^{-x}}$，复合函数$h(x)=g(f(x))=\frac{1}{1+e^{-(w^Tx+b)}}$。

引入概率论

如果把x和y都看作随机变量，那么就有了联合分布以及条件分布的概念。$(x_i,y_i)$满足联合分布，现在想要学习的就是$P(y|x)$以及$P(x,y)$。

$$P(y=1|x)=\frac{1}{1+e^{-(w^Tx+b)}}\\ P(y=0|x)=\frac{e^{-(w^Tx+b)}}{1+e^{-(w^Tx+b)}}$$

简化记号：$x=(1,x),w = (b, w)$。则有：

$$P(y=1|x)=\frac{1}{1+e^{-(w^Tx)}}\\ P(y=0|x)=\frac{e^{-w^Tx}}{1+e^{-(w^Tx)}}$$

对于一个点而言，设其到超平面的距离为$l$，则$l=\frac{w^Tx}{||w||}$。$P(y=1|x)$有三种取值：

$$P(y=1|x)=\left\{\begin{matrix}~1,w^Tx>>0\\ \frac{1}{2},w^Tx=0 \\ ~0,x^Tx<<0 \end{matrix}\right.$$

极大似然估计，设$(x_i,y_i)$独立同分布，$P(x_i,y_i)=P(y_i|x_i)P(x_i)=P(y_i=1|x_i)^{y_i}P(y_i=0|x_i)^{1-y_i}P(x_i)$。注意上面的前两项最终只会取一项。

似然函数可以写为：$\Pi_{i=1}^nP(x_i,y_i)=\Pi_{i=1}^n[P(y_i=1|x_i)^{y_i}P(y_i=0|x_i)^{1-y_i}]·\Pi_{i=1}^nP(x_i)$

变成求解$argmax_w\Pi_{i=1}^n[P(y_i=1|x_i)^{y_i}P(y_i=0|x_i)^{1-y_i}]=argmax_w[\Pi_{y_i=1}\frac{1}{1+e^{-w^Tx_i}}][\Pi_{y_j=0}\frac{e^{-w^Tx_j}}{1+e^{-w^Tx_j}}]$

取对数可以让乘积变成求和，等价于$argmax_w\Sigma_{y_i=1}log(\frac{1}{1+e^{-w^Tx_i}})+\Sigma_{y_i=0}log(\frac{e^{-w^Tx_j}}{1+e^{-w^Tx_j}})=argmin_w -\Sigma_{y_i=1}log(\frac{1}{1+e^{-w^Tx_i}})-\Sigma_{y_i=0}log(\frac{e^{-w^Tx_j}}{1+e^{-w^Tx_j}})$

损失函数：$l(w)= -\Sigma_{y_i=1}log(\frac{1}{1+e^{-w^Tx_i}})-\Sigma_{y_i=0}log(\frac{e^{-w^Tx_j}}{1+e^{-w^Tx_j}})$

此时闭形式解是不存在的，只能使用数值解法。

梯度下降

一般来说，$f:R^k\to R,\nabla f$

$x_{n+1}=x_n-\eta \nabla f(x_n)$

对于若干个点的二分类问题，如果其完全可分，则可以用感知机进行求解，如果不完全可分，则可以用线性规划。现在则可以使用逻辑回归。

如果对于$w\in R^k,A=\{x_i|y_i(w^Tx_i)<0\},l(w)=|A|$，去找到$w$满足$l(w)$最小的话，最终结果可能非常不稳定。

推广

多元分类怎么办？

给出$(x_i,y_i),y_i\in \{0,1,...m-1\}$

目标：$w_1,w_2...w_{m-1}$

$P(y_i=k|x_i)=\frac{e^{w_k^Tx_i}}{1+\Sigma_{k=1}e^{w_k^Tx_i}},k\neq0$

$P(y_i=0|x_i)=\frac{1}{1+\Sigma_{k=1}e^{w_k^Tx_i}}$

引入非线性

如果是二维空间中线性不可分，则可以尝试进行升维：

$(x_1,x_2)\to (x_1,x_2,x_1^2,x_2^2,x_1x_2)\in R^5$

注意上面的参数都是线性的。

对于感知机、线性规划、线性回归、逻辑回归都可以引入非线性项。