逻辑回归原理总结

概述

• 什么是逻辑回归，从二分类开始说起
• 二元逻辑回归模型的拟合
• 多分类逻辑回归

1. 什么是逻辑回归，从二分类开始说起

回顾线性回归$y=x^T\beta$，我们知道响应变量$y$一般是连续的，但在分类问题中，比如常见的二分类中$y=0$或$y=1$是非连续的。为了依旧能够利用输入特征$x$的线性函数来建立分类的后验概率$P(y=0)$和$P(y=1)$，可以对线性回归$x^T\beta$进行如下变换（sigmoid函数：$f(x)=1/(1+e^{-x})$）

$$g(x)=\frac{1}{1+\exp \{-x^T\beta \}}$$

可以发现，此时$g(x)\in [0,1]$。通常取临界值0.5，当$g(x)>0.5$，即$x^T\beta >0$时，$y=1$；当$g(x)<0.5$，即$x^T\beta <0$时，$y=0$；当$g(x)=0.5$，此时逻辑回归无法确定分类。也就是说，当$x^T\beta$越大，分为1的概率越大；当$x^T\beta$越小，分为0的概率越大；当$x^T\beta$越接近0，分类的不确定性越大。

2. 二元逻辑回归模型的拟合

由于二分类问题的响应变量非连续，所以最小二乘方法中的误差平方和损失在这不适用，我们可以采用最大似然进行拟合。假设二分类响应变量为$y=0$和$y=1$，且

$$P(y=1|x,\beta )=\frac{1}{1+\exp \{-x^T\beta \}}$$

$$P(y=0|x,\beta )=1-P(y=1|x,\beta )=\frac{\exp \{-x^T\beta \}}{1+\exp \{-x^T\beta \}}$$

合并上述两式

$$P(y|x,\beta )=P(y=1|x,\beta {)}^y[1-P(y=1|x,\beta ){]}^{1-y},y=0,1$$

对应的$N$样本对数似然为

$$l(\beta )=\sum _{i=1}^N\log [P(y_i|x_i,\beta )]=\sum _{i=1}^N\{y_i\log [P(y=1|x_i,\beta )]+(1-y_i)\log [1-P(y=1|x_i,\beta )]\}$$

即

$$l(\beta )=-\sum _{i=1}^N[(1-y_i)x_i^T\beta +\log (1+\exp (-x_i^T\beta ))]$$

采用梯度上升法求解最优参数，先对上式求导

$$\frac{\partial l(\beta )}{\partial \beta }=\sum _{i=1}^N(y_i-\frac{1}{1+\exp (-x_i^T\beta )})x_i=X^T(Y-g(X))$$

梯度上升法中每一步向量$\beta$的迭代公式如下，其中$\alpha$为迭代步长，

$$\beta =\beta +\alpha X^T(Y-g(X))$$

3.多分类逻辑回归

构建逻辑回归模型意在利用输入特征$X$的线性函数来建立分类（$G=1,\cdots ,K$）的后验概率，并要求所有类别的后验概率之和为1且都在$[0,1]$内。该模型的形式为（称之为Logit变换或log-odds），总共$K-1$个方程，

$$\log \frac{P(G=1|X=x)}{P(G=K|X=x)}=x^T{\beta }_1$$

$$\log \frac{P(G=2|X=x)}{P(G=K|X=x)}=x^T{\beta }_2$$

$$⋮$$

$$\log \frac{P(G=K-1|X=x)}{P(G=K|X=x)}=x^T{\beta }_{K-1}$$

整个模型的参数为$\theta =({\beta }_1^T,\cdots ,{\beta }_{K-1}^T)$。根据$\sum _{k=1}^{K}P(G=k|X=x)=1$可以计算出

$$P(G=K|X=x)=\frac{1}{1+\sum _{k=1}^{K-1}\exp \{x^T{\beta }_k\}}$$

$$P(G=k|X=x)=\frac{\exp \{x^T{\beta }_k\}}{1+\sum _{k=1}^{K-1}\exp \{x^T{\beta }_k\}},k=1,\cdots ,K-1.$$