逻辑回归 Logistic Regression

目录

• 基本公式
• 预设
• 极大化对数似然函数
  • 概率和似然（Probability vs Likelihood）
  • 梯度下降法
  • 牛顿法
• 样本的线性可分性和超平面不收敛的情况
• 推广到多项逻辑回归
• sigmoid function
• 使用标签 $y\in \{-1,1\}$

基本公式

$$\begin{array}{rl}F(x)& =P\{X\le x\}=\frac{1}{1+e^{(\mu -x)/\gamma }}\\ f(x)& =F^{\prime }(x)=\frac{e^{(\mu -x)/\gamma }}{\gamma (1+e^{(\mu -x/\gamma )}{)}^2}\end{array}$$

$F(x)$ 关于 $(\mu ,\frac{1}{2})$ 对称。

二项逻辑回归（binomial logistic regression model）

$$\begin{array}{r}P(Y\mid XX;ww)=\frac{\exp ({ww}^{T}xx)}{1+\exp ({ww}^{T}xx)}=\frac{1}{1+\exp (-{ww}^{T}xx)}\end{array}$$

对数几率（log odds）函数 $logit(p)=\ln \left(\frac{p}{1-p}\right)$$，$$logit[P(Y\mid XX;ww)]={ww}^{T}xx$

预设

• 用于二分类问题，$Y\in \{0,1\}\sim Bernoulli(p),P(y\mid p)=p^y(1-p{)}^{1-y}$，令 $p=\frac{1}{1+\exp (-{ww}^{T}xx)}$ 则得到二项逻辑回归；
• 所有样本 $P(Y=y_i\mid xx=x{x}_i)$ 独立；

极大化对数似然函数

因为假设 $y$ 服从伯努利分布，选择似然函数

$$\begin{array}{rl}\mathcal{L}(YY\mid XX;ww)& =\prod _{y_i\in YY,y_i=1}P(y_i=1\mid x{x}_i,ww)\cdot \prod _{y_i\in YY,y_i=0}P(y_i=0\mid x{x}_i,ww)\\ & \stackrel{P(y_i=1\mid x{x}_i,ww)\leftarrow p_i,P(y_i=0\mid x{x}_i,ww)\leftarrow 1-p_i}{=}\\ & =\prod _{y_i\in YY,y_i=1}{p}_i\cdot \prod _{y_i\in YY,y_i=0}(1-p_i)\\ & =\prod _{y_i\in YY}{p}_i^{y_i}\cdot (1-p_i{)}^{1-y_i}\end{array}$$

其中 $XX$ 为选择的样本；$YY$ 为选择的样本的标签，在这里表示所有样本都被计算。$y_i\in Y,y_i=1$ 表示选择所有标签为 $1$ 的样本 $x{x}_i$，反之亦然。$p_i$ 为 sigmoid 函数 $\frac{1}{1+\exp (-w{w}^{T}x{x}_i)}$。

取对数再取平均获得对数似然函数 $\ln \mathcal{L}(YY\mid XX;ww)=\frac{1}{N}\sum _{i\in [1..N]}{y}_i\ln p_i+(1-y_i)\ln (1-p_i)$

$$\begin{array}{rl}{\mathrm{\nabla }}_{ww}\ln \mathcal{L}& =\frac{1}{N}\sum _{i\in [1..N]}x{x}_i(y_i-p_i)\\ p_i& =\frac{1}{1+\exp (-w{w}^{T}x{x}_i)}\end{array}$$

概率和似然（Probability vs Likelihood）

假设有一个概率分布函数 $P(X;\theta )$。

• 概率关注点在 $X$，在参数 $\theta$ 固定的情况下出现数据 $X$ 的情况有多大可能。

• 似然关注点在 $\theta$，选择什么参数 $\theta$ 可以使所有样本 $X$ 出现的可能性最大。

梯度下降法

为了最大化似然函数

$w{w}^{t+1}\leftarrow w{w}^t+\eta {\mathrm{\nabla }}_{ww}\ln \mathcal{L}(YY\mid XX;w{w}^{(t)})$，其中 $\eta >0$ 为超参数学习率（learning rate），$XX,YY$ 为选择的样本和对应的标签。

牛顿法

用 $\mathcal{L}(ww)$ 表示 $\mathcal{L}(YY\mid XX;ww)$，${\mathcal{H}\mathcal{H}}_{w{w}_0}$ 表示 $\mathcal{L}(ww)$ 在 $w{w}_0$ 的 Hessian 矩阵。

$$\begin{array}{rl}\mathcal{L}(ww)& \approx \mathcal{L}(w{w}_0)+{\mathrm{\nabla }}_{ww}^T[\mathcal{L}(w{w}_0)]\cdot (ww-w{w}_0)+\frac{1}{2}(ww-w{w}_0{)}^T{\mathcal{H}\mathcal{H}}_{w{w}_0}(ww-w{w}_0)\\ {\mathrm{\nabla }}_{ww}\mathcal{L}(ww)& \approx {\mathrm{\nabla }}_{ww}\mathcal{L}(w{w}_0)+{\mathcal{H}\mathcal{H}}_{w{w}_0}(ww-w{w}_0)\end{array}$$

令 ${\mathrm{\nabla }}_{ww}\mathcal{L}(w{w}^{(t+1)})=0,w{w}_0\leftarrow w{w}^{(t)}$。

$$\begin{array}{rl}{\mathrm{\nabla }}_{ww}\mathcal{L}(w{w}^{(t)})+{\mathcal{H}\mathcal{H}}_{w{w}^{(t)}}(w{w}^{(t+1)}-w{w}^{(t)})& =0\\ w{w}^{(t+1)}& =w{w}^{(t)}-{\mathcal{H}\mathcal{H}}_{w{w}^{(t)}}^{-1}\cdot {\mathrm{\nabla }}_{ww}\mathcal{L}(w{w}^{(t)})\end{array}$$

得到迭代公式 $w{w}^{(t+1)}\leftarrow w{w}^{(t)}-{\mathcal{H}\mathcal{H}}_{w{w}^{(t)}}^{-1}\cdot {\mathrm{\nabla }}_{ww}\mathcal{L}(w{w}^{(t)})$。

事实上，$\mathcal{L}$ 可以改为任意损失函数，则得到任意损失函数的牛顿法。

样本的线性可分性和超平面不收敛的情况

证明：当样本线性可分时，超平面不收敛。

证明方法一：

如果存在超平面 $w{w}^{T}xx=0$，使得所有样本都被正确分类，那么令超平面与一个系数 $c$ 相乘不改变此超平面 $cw{w}^{T}xx=0$。

$$\begin{array}{rl}{p}_i& =\frac{1}{1+\exp (-cw{w}^{T}xx)}\\ \ln \mathcal{L}& =\sum _i{y}_i\ln p_i+(1-y_i)\ln (1-p_i)\\ \frac{\partial }{\partial c}\ln \mathcal{L}& =\sum _i{y}_i(w{w}^{T}xx)-\frac{w{w}^{T}xx}{1+\exp (-cw{w}^{T}xx)}\\ & =\sum _i(y_i-\frac{1}{1+\exp (-cw{w}^{T}xx)})w{w}^{T}xx\\ & =\sum _i(y_i-p_i)w{w}^{T}xx\end{array}$$

由于所有样本都被正确分类，所以 $y_i=1⟹w{w}^{T}xx>0,y_i=0⟹w{w}^{T}xx<0$

所以 $\frac{\partial }{\partial c}\ln \mathcal{L}>0$，则增加 $c$ 恒提高似然函数，取最大似然函数则 $c\to \mathrm{\infty }$。将 $cw{w}^T$ 看作 $w{w}^T$，则 $w{w}^T\to \mathrm{\infty }w{w}^T$。

证明方法二：

$$\begin{array}{rl}& y_i=1⟺w{w}^{T}x{x}_i>0⟺p_i>\frac{1}{2}\\ & y_i=0⟺w{w}^{T}x{x}_i<0⟺p_i<\frac{1}{2}\\ ⟹& w{w}^{T}x{x}_i(p_i-y_i)<0\\ ⟹& ww-\eta x{x}_i(p_i-y_i)\text{ 在超平面与 }ww\text{ 同侧延伸}\end{array}$$

且以上 $|p_i-y_i|>\frac{1}{2}$，$xx$ 作为样本长度固定，所以不收敛

---

改善方法

添加 $L^2$ 范数改善

$$\begin{array}{rl}\ln \mathcal{L}-\frac{\lambda }{2}||ww|{|}_2^2& =\sum _i{y}_i\ln p_i+(1-y_i)\ln (1-p_i)-\frac{\lambda }{2}w{w}^{T}ww\\ {\mathrm{\nabla }}_{ww}[\ln \mathcal{L}-\frac{\lambda }{2}w{w}^{T}ww]& =\sum _{i}x{x}_i(y_i-p_i)-\lambda ww\\ w{w}^{(t+1)}& \leftarrow w{w}^{(t)}+\frac{\eta }{N}({\mathrm{\nabla }}_{ww}[\ln \mathcal{L}-\frac{\lambda }{2}w{w}^{T}ww])\\ & =(1-\frac{\eta \lambda }{N})w{w}^{(t)}+\frac{\eta }{N}[\sum _{i}x{x}_i(y_i-p_i)]\end{array}$$

当 $ww$ 过大时，$\frac{\eta }{N}[\sum _{i}x{x}_i(y_i-p_i)]$ 带来的增益小于 $\frac{\eta \lambda }{N}w{w}^{(t)}$ 带来的损失。

添加标签平滑（label smoothing）改善，$y_i\in \{0,1\}$ 改为 $y_i\in \{\sigma ,1-\sigma \},\sigma \in (0,1/2)\mathrm{接}\mathrm{近}0$。

$$\begin{array}{rl}{y}_i& \in \{\sigma ,1-\sigma \}\\ p_i& =\frac{1}{1+\exp (-w{w}^{T}xx)}\\ w{w}^{(t+1)}& \leftarrow w{w}^{(t)}-\eta x{x}_i(p_i-y_i)\end{array}$$

当 $ww$ 过大时，$y_i=\sigma ⟹w{w}^{T}xx\ll 0⟹p_i\to 0⟹w{w}^{(t)},\eta x{x}_i(p_i-y_i)\text{ 在超平面同侧}$，$y_i=1-\sigma$ 时也成立。

推广到多项逻辑回归

• one-vs-rest
• one-vs-one

总之，对上述每个分类进行学习，可以获得 $K=\{\begin{array}{ll}C& \text{one-vs-rest}\\ (\genfrac{}{}{0ex}{}{C}{2})& \text{one-vs-one}\end{array}$ 个 $ww$，这些 $ww$ 一起可以获得 $K$ 个二项逻辑回归，选择其中最大的一个类即可，$\hat{y}=\underset{c\in \{1,\dots ,C\}}{\arg max}P(Y=c\mid xx)$。

sigmoid function

为了将在数轴上任意的 $z$ 映射到 $(0,1)$ 上，从直觉上构造函数

$$\begin{array}{r}\begin{array}{rcl}-\mathrm{\infty }<& z& <\mathrm{\infty }\\ 0<& \exp (z)& <\mathrm{\infty }\\ 1<& 1+\exp (z)& <\mathrm{\infty }\\ 1>& \frac{1}{1+\exp (z)}& >0\\ 0<& \frac{1}{1+\exp (-z)}& <1\end{array}\end{array}$$

因此选择函数 $S(z)=\frac{1}{1+\exp (-z)}$ 。之后发现这个函数的导数不错，$S^{\prime }(z)=S(z)[1-S(z)]$，在 0 附近较大，而在其他情况较小。

使用标签 $y\in \{-1,1\}$

$$\begin{array}{rl}\tanh (z)& =\frac{e^z-e^{-z}}{e^z+e^{-z}}=2Sigmoid(2z)-1\\ {\tanh }^{\prime }(z)& =1-{\tanh }^2(z)\end{array}$$

依旧构造似然函数

$$\begin{array}{rl}{p}_i& =\tanh (w{w}^{T}xx)\\ \mathcal{L}(YY\mid XX;ww)& =\prod _{y_i\in YY,y_i=1}P(y_i=1\mid x{x}_i,ww)\cdot \prod _{y_i\in YY,y_i=-1}P(y_i=0\mid x{x}_i,ww)\\ & \stackrel{P(y_i=1\mid x{x}_i,ww)\leftarrow (1+p_i)/2,P(y_i=-1\mid x{x}_i,ww)\leftarrow (1-p_i)/2}{=}\\ & =\prod _{y_i\in YY,y_i=1}\frac{1+p_i}{2}\cdot \prod _{y_i\in YY,y_i=-1}\frac{1-p_i}{2}\\ & =\prod _{y_i\in YY}{\left(\frac{1+p_i}{2}\right)}^{(y_i+1)/2}\cdot {\left(\frac{1-p_i}{2}\right)}^{(1-y_i)/2}\\ \frac{1}{N}\ln \mathcal{L}(YY\mid XX;ww)& =\frac{1}{2N}\sum _{i=[1..N]}(y_i+1)\ln \left(\frac{1+p_i}{2}\right)+(1-y_i)\ln \left(\frac{1-p_i}{2}\right)\\ {\mathrm{\nabla }}_{ww}\frac{1}{N}\ln \mathcal{L}(YY\mid XX;ww)& =\frac{1}{N}\sum _{i=[1..N]}x{x}_i(y_i-p_i)\end{array}$$

出于计算方便

$S^{\prime }(z)=S(z)[1-S(z)]$ 所以选择 $p_i,(1-p_i)$

${\tanh }^{\prime }(z)=[1+\tanh (z)][1-\tanh (z)]$，所以选择 $(1+p_i)/2,(1-p_i)/2$

事实上 $(1+p_i)/2=Sigmoid(2w{w}^{T}x{x}_i),(1-p_i)/2=1-Sigmoid(2w{w}^{T}x{x}_i)$，相当于 $y_i\to (y_i+1)/2,p_i\to (p_i+1)/2,x{x}_i\to 2x{x}_i$ 所以得出相同的结果。