逻辑回归

目录

• 一、逻辑斯谛分布
• 二、二元逻辑回归模型
• 三、线性回归到逻辑回归
• 四、二元逻辑回归损失函数
• 五、二元逻辑回归损失函数优化
• 六、二元逻辑回归损失函数正则化

逻辑回归（$Logistic\ \ regression$​​​）是分类方法。可以处理二元分类和多元分类。

一、逻辑斯谛分布

逻辑斯谛分布的密度函数 $f(x)$ 和分布函数 $F(x)$​ 如图。分布函数属于逻辑斯谛函数，曲线以点 $\left(\mu ,\frac{1}{2}\right)$ 中心对称。

二、二元逻辑回归模型

二元逻辑回归模型是如下条件概率分布：

$$P(Y=1|x)=\frac{e^{(\theta \ \bullet \ x+b)}}{1+e^{(\theta \ \bullet \ x+b)}} \tag{1}$$

$$P(Y=0|x)=\frac{1}{1+e^{(\theta \ \bullet \ x+b)}} \tag{2}$$

$x \in \pmb{R^n}$ （$n$ 维），$Y\in\{0,1\}$，$\theta \in \pmb{R^n}$ ，$\theta$ 称为权值向量，$b$​ 称为偏置。

对给定的样本 $x$​，带入式 $(1)$​、$(2)$​ 求得两个概率值​。比较概率值的大小，将 $x$​ 分为概率大的那一类。

为了方便，将 $\theta$​ 和 $x$​ 加以扩充，即 $\theta=(\theta^{(1)},\theta^{(2)},...,\theta^{(n)},b)^T$​，$x=(x^{(1)},x^{(2)},...,x^{(n)},1)^T$​

二元逻辑回归模型如下：

$$P(Y=1|x)=\frac{e^{(\theta \ \bullet \ x)}}{1+e^{(\theta \ \bullet \ x)}} \tag{3}$$

$$P(Y=0|x)=\frac{1}{1+e^{(\theta \ \bullet \ x)}} \tag{4}$$

一个事件的几率指发生的概率与不发生的概率比值。

事件的对数几率（$logit$ 函数）是:

$$logit(p)=log \frac{p}{1-p}$$

由式 $(3)$、$(4)$得

$$log \frac{P(Y=1|x)}{1-P(Y=1|x)}=\theta \ \bullet \ x$$

即输出 $Y=1$ 的对数几率是 由输入 $x$​ 的线性函数表示的模型，即逻辑回归模型。

则

$$P(Y=1|x)=\frac{1}{1+e^{(-\theta \ \bullet \ x)}}$$

三、线性回归到逻辑回归

线性回归模型 $y$​​​​​ 和 $x$​​​​​​ 之间的线性关系系数 $\theta$​​​​​，​满足 $y=\theta \ \bullet \ x$​。因为此时 $y$ 是连续的，所以是回归模型。

从线性回归到逻辑回归，需要 $y$ 是离散，对 $y$ 做转换，变为 $g(y)$。如果 $g(y)$ 结果是两种，就是二元分类模型。

$g$ 一般取 $sigmoid$ 函数：

$$g(y)=\frac{1}{1+e^{-y}}$$

取 $sigmoid$ 函数的原因有两个：

• 当 $y$ 趋于正无穷，$g(y)$ 趋于1，当 $y$​ 趋于负无穷，$g(y)$ 趋于0。
• $g(y)$ 容易求导。$g'(y)=g(y)(1-g(y))$

令 $g(y)$​ 中的 $y$​ 为：$y=\theta \ \bullet \ x$​​，得到二元逻辑回归的一般形式：

$$h_\theta(x)=\frac{1}{1+e^{(-\theta \ \bullet \ x)}}$$

四、二元逻辑回归损失函数

线性回归 $Y$​​ 是连续的，用均方误差定义损失函数。但逻辑回归不连续，用极大似然估计法求损失函数。

设：

$$\begin{aligned} & P(Y=1|x)=h_\theta(x) \\ & P(Y=0|x)=1-h_\theta(x) \end{aligned}$$

两个式子写成一个式子：

$$P(Y|x)=h_\theta(x)^y(1-h_\theta(x))^{(1-y)}$$

似然函数为：

$$L(\theta)=\prod_{i=1}^{m}(h_\theta(x^{(i)}))^{y{(i)}}(1-h_\theta(x^{(i)}))^{1-y^{(i)}}$$

$m$ 为样本个数。

对数似然函数取反即为损失函数：

$$\begin{aligned} J(\theta)=-lnL(\theta) &= -\sum_{i=1}^m (y^{(i)}log(h_\theta(x^{(i)}) + (1-y^{(i)})log(1-h_\theta(x^{(i)}))) \\ &= -\sum_{i=1}^m y^{(i)}log(h_\theta(x^{(i)}) - \sum_{i=1}^m (1-y^{(i)})log(1-h_\theta(x^{(i)})) \end{aligned}$$

损失函数矩阵形式：

$$J(\theta)=-Y^Tlogh_\theta(X)-(E-Y)^Tlog(E-h_\theta(X))$$

其中 $E$ 为全 $1$ 向量。

五、二元逻辑回归损失函数优化

损失函数最小话，常见的有梯度下降法、坐标轴下降法、等牛顿法。

六、二元逻辑回归损失函数正则化

逻辑回归有时也有过拟合问题，需要正则化。

$L1$ 正则化：

$$J(\theta)=-Y^Tlogh_\theta(X)-(E-Y)^Tlog(E-h_\theta(X))+\alpha\|\theta\|_1$$

其中 $\|\theta\|_1$为 $\theta$ 的 $L1$ 范数。

$L1$​ 正则化损失函数优化方法常用：坐标轴下降法、最小角回归法。

$L2$​ 正则化：

$$J(\theta)=-Y^Tlogh_\theta(X)-(E-Y)^Tlog(E-h_\theta(X))+\frac{1}{2}\alpha\|\theta\|_2^2$$

其中 $\|\theta\|_2$​​为 $\theta$​​ 的 $L2$​​ 范数。

$L1$ 正则化损失函数优化方法与普通逻辑回归类似。

逻辑回归尤其二元逻辑回归，虽然没支持向量机（$SVM$​）占主流，但训练速度比 $SVM$ 快很多。