Logistic Regression

Logistic Regression

目录

• Logistic Regression
  • 模型介绍
    • 优化方法
      • Steepest descent
      • 牛顿方法
      • Iteratively reweighted least square
      • Quasi-Newton methods
      • L2正则
    • 多类别
  • 贝叶斯角度的逻辑回归
    • Gaussian approximate
      • Guassion approximate for Logistic Regression
      • Approximatting the posterior predictive
  • Online Learning and stochastic optimization
  • 生成方法和判别方法的对比
    • Fisher线性判别分析
      • 二分类问题
    • 拓展至多维

模型介绍

​ 逻辑回归作为一个判别模型，其形式如下：

$$p(y=1|\mathbf{x})=Ber(y|\text{sigm}\left({\mathbf{w}}^T\mathbf{x}\right))$$

参数为$\mathbf{w}$，假设$y\in \{0,1\}$，得到NLL

$$\begin{array}{}\text{(1)}& NLL=-\sum _{i=1}^N{y}_i{\log }^{u_i}+(1-y_i){\log }^{1-u_i}\end{array}$$

​ 与Linear Regression不同，极大化NLL得不到解析解，对上式求导得到梯度和Hessian矩阵

$$\begin{array}{rl}\mathbf{g}& =\sum _i^N(u_i-y_i){\mathbf{x}}_i=X^T(\mathbf{u}-\mathbf{y})\\ \mathbf{H}& =\sum _i^N{u}_i(1-u_i){\mathbf{x}}_i{\mathbf{x}}_i^T=X^{T}SX\end{array}$$

式中$S=\text{diag}\left(u_i(1-u_i)\right)$，可以看出H为正定矩阵

优化方法

​ 对于无约束的凸优化问题$\text{(1)}$，可以采用Steepest descent、Newton's method、Iteratively reweighted least square、Quasi-Newton's methods等方法求解

Steepest descent

​ 在二范数下，Steepest descent的下降方向为负梯度方向，即$-\mathbf{g}$（可查阅之前的凸优化章节）

$${\mathbf{w}}^{t+1}={\mathbf{w}}^t-\eta \mathbf{g}$$

$\eta$为学习率

牛顿方法

​ 牛顿方法是二阶方法，其求解步骤如下

• 设定初始点${\mathbf{x}}_0$以及收敛条件$ϵ$
• 计算$\lambda (\mathbf{x})$，并与收敛条件进行比较，但尚未收敛时执行以下步骤
• 计算$\mathrm{\Delta }{\mathbf{x}}_{st}=-{\mathbf{H}}^{-1}\mathbf{g}$，根据计算的步长$\eta$，对参数$\mathbf{w}$进行更新

​ 可以看出牛顿方法需要对矩阵进行求逆，因此即使$\mathbf{H}$可逆，当遇到大规模问题时，逆计算开销很大。后续的Quasi-Newton methods会对这方面进行优化，用一些方法得到近似的$\mathbf{H}$。

Iteratively reweighted least square

​ 当使用牛顿法解$\text{(1)}$时，得到参数$\mathbf{w}$的迭代过程如下

$$\begin{array}{rl}{\mathbf{w}}^{t+1}& ={\mathbf{w}}^t-{\mathbf{H}}^{-1}\mathbf{g}\\ & ={\mathbf{w}}^t-{\left(X^{T}SX\right)}^{-1}{X}^T(\mathbf{u}-\mathbf{g})\\ & ={\left(X^{T}SX\right)}^{-1}[\left(X^{T}SX\right)\mathbf{w}-X^T(\mathbf{u}-\mathbf{g})]\\ & ={\left(X^{T}SX\right)}^{-1}{X}^T(SX\mathbf{w}-(\mathbf{u}-\mathbf{y}))\\ \text{(2)}& & ={\left(X^{T}SX\right)}^{-1}{X}^{T}Sz\end{array}$$

式中$z=Xw-S^{-1}(\mathbf{u}-\mathbf{y})$，结合线性回归的Normal Equation，可以发现上述${\mathbf{w}}^{t+1}$的解析式是$\sum _i^N{S}_i{(z_i-{\mathbf{w}}^T{\mathbf{x}}_i)}^2$的极小值。$S_i$可以被看为权重，在迭代$\mathbf{w}$时其会发生变化，这也是Iteratively reweignted least square名字的由来。算法流程如下：

1. 初始化$\mathbf{w}$
2. 根据$\text{(2)}$计算更新$\mathbf{w}$
3. 迭代至收敛

Quasi-Newton methods

​ 为了避免牛顿方法中的矩阵逆运算，Quasi-Newton methods使用近似的$\mathbf{H}$来进行运算。这里介绍两种方法：BFGS和L-BFGS。两方法有相似之处，都是基于$\text{(3)}$展开的。

​ 根据泰勒展开可以得到

$$f({\mathbf{x}}^t)=f({\mathbf{x}}^{t+1})+\mathrm{\nabla }f({\mathbf{x}}^{t+1}{)}^T\mathrm{\Delta }\mathbf{x}+\frac{1}{2}\mathrm{\Delta }{\mathbf{x}}^T{\mathrm{\nabla }}^{2}f({\mathbf{x}}^{t+1})\mathrm{\Delta }\mathbf{x}$$

在上式中对${\mathbf{x}}^t$求导

$$\begin{array}{}\text{(3)}& \mathrm{\nabla }f({\mathbf{x}}^t)=\mathrm{\nabla }f({\mathbf{x}}^{t+1})+{\mathrm{\nabla }}^{2}f({\mathbf{x}}^{t+1})({\mathbf{x}}^t-{\mathbf{x}}^{t+1})\end{array}$$

​ 令

$$\begin{array}{rl}{B}^t& ={\mathrm{\nabla }}^{2}f(\mathbf{x})\\ \mathrm{\Delta }{s}^t& ={\mathbf{x}}^{t+1}-{\mathbf{x}}^t\\ \mathrm{\Delta }{y}^t& =\mathrm{\nabla }f({\mathbf{x}}^{t+1})-\mathrm{\nabla }f({\mathbf{x}}^t)\end{array}$$

BFGS方法认为

$$B^{t+1}=B^t+mV{V}^T+nU{U}^T$$

带入$\text{(3)}$中得到

$$mV{V}^T\mathrm{\Delta }{s}^t+nU{U}^T\mathrm{\Delta }{s}^t=\mathrm{\Delta }{y}^t-B^t\mathrm{\Delta }{s}^t$$

假设一种特殊情况

$$\begin{array}{rl}mV{V}^T\mathrm{\Delta }{s}^t& =\mathrm{\Delta }{y}^t\\ nU{U}^T\mathrm{\Delta }{s}^t& =-B^t\\ m{V}^T\mathrm{\Delta }{s}^t& =1\\ n{U}^T\mathrm{\Delta }{s}^t& =-1\end{array}$$

可以解得$U,V,m,n$，得到$B$的迭代关系如下

$$B^{t+1}=B^t+\frac{\mathrm{\Delta }{y}^t{\mathrm{\Delta }{y}^t}^T}{\mathrm{\Delta }{y}^T\mathrm{\Delta }s}-\frac{\mathrm{\Delta }{B}^t\mathrm{\Delta }{s}^t\mathrm{\Delta }{s}^T{B}^t}{\mathrm{\Delta }{s}^T{B}^t\mathrm{\Delta }{s}^t}$$

由于$\mathbf{d}=-{\mathbf{H}}^{-1}\mathbf{g}$，在求下降方向时经常会使用${\mathbf{H}}^{-1}$，下面对其进行近似。

对上述关系应用两次Sherman-Morrion公式

$$(A+u{v}^T{)}^{-1}=A^{-1}-\frac{A^{-1}u{v}^T{A}^{-1}}{1+v^T{A}^{-1}u}$$

得到（这部分推导比较繁琐，参阅zhirom博客）

$$\begin{array}{}\text{(4)}& C^{t+1}=(I-\frac{\mathrm{\Delta }{s}^t\mathrm{\Delta }{y}^T}{\mathrm{\Delta }{s}^T\mathrm{\Delta }{y}^t})C^t(I-\frac{\mathrm{\Delta }{y}^t\mathrm{\Delta }{s}^T}{\mathrm{\Delta }{s}^T\mathrm{\Delta }{y}^t})\end{array}$$

整体的BFGS算法流程如下

1. 初始化${\mathbf{x}}_0$，令$B_0=I$
2. 确定搜索方向$\mathbf{d}=-B_k^{-1}{\mathbf{g}}_k$
3. 利用exact line search或者backtracting line search确定搜索步长，得到${\mathbf{x}}_{k+1}={\mathbf{x}}_k-{\lambda }_k{\mathbf{d}}_k$
4. 计算${\mathbf{g}}_{k+1}$，若不收敛时继续执行
5. 利用$\text{(4)}$得到$C_{k+1}$，返回第二步

L-BFGS方法是在BFGS基础上舍弃了对矩阵的保存，仅保留了最近的m个$s_k{y}_k$结果，节约了内存空间。在计算${\mathbf{H}}^{-1}\mathbf{g}$时使用了two-loop recursion，暂时不清楚这个计算方法的原理，在这里不写出，可参阅星环科技-知乎回答一文。

L2正则

​ 如果给定的数据集是线性可分的，那么$\mathbf{w}$进要满足一定比例即可，那么$\Vert \mathbf{w}\Vert \to +\text{infin}$也是可以的，这样得到的图形就格外陡峭，容易过拟合。

​ 如果在NLL中添加$L_2$正则项，那么获得的即为MAP估计，相比于之前的MLE估计，梯度和Hessian矩阵迭代关系如下

$$\begin{array}{rl}\mathbf{g}& =X^T(\mathbf{u}-\mathbf{y})+\lambda \mathbf{w}\\ \mathbf{H}& =X^T\mathbf{S}X+\lambda \mathbf{I}\end{array}$$

多类别

​ 当考虑的类别数量多余2时，其形式如下

$$p(y=c|\mathbf{x},\mathbf{W})=\frac{e^{{\mathbf{W}}_c^T\mathbf{x}}}{{\sum }_i^C{e}^{{\mathbf{W}}_i^T\mathbf{x}}}$$

令

$$\begin{array}{rl}{u}_{ic}& =p(y=c|\mathbf{x},{\mathbf{w}}_c)\\ {\eta }_i& ={\mathbf{W}}^T\mathbf{x}\\ y_{ic}& =\text{Ⅱ}(y_i=c)\end{array}$$

令系数矩阵$\mathbf{W}$的最后一列为0，即不对最后一类的系数进行估计（在分子和分母同除非零数并不影响结果）。得到NLL

$$l(\mathbf{W})=-\sum _i^N((\sum _c^C{y}_{ic}{\eta }_{ic})-{\log }^{{\sum }_{c^{\prime }}{u}_{i{c}^{\prime }}})$$

得到

$$\begin{array}{rl}\mathbf{g}& =\sum _i^N({\mathbf{u}}_i-{\mathbf{y}}_i)\otimes {\mathbf{x}}_i=X^T(\mathbf{u}-\mathbf{y})\\ \mathbf{H}& =\sum _i^N(diag(u_i)-{\mathbf{u}}_i{\mathbf{u}}_i^T)\otimes ({\mathbf{x}}_i{\mathbf{x}}_i^T)\end{array}$$

假设$\mathbf{W}$先验为$p(\mathbf{W})={\mathrm{\Pi }}_c^{C}N({\mathbf{w}}_c|0,{\mathbf{V}}_0)$，得到

$$\begin{array}{rl}\mathbf{g}& =\sum _i^N({\mathbf{u}}_i-{\mathbf{y}}_i)\otimes {\mathbf{x}}_i+\lambda {\mathbf{V}}_0^{-1}\sum {\mathbf{w}}_c\\ \mathbf{H}& =\sum _i^N(diag({\mathbf{u}}_i)-{\mathbf{u}}_i{\mathbf{u}}_i^T)\otimes {\mathbf{x}}_i{\mathbf{x}}_i^T+\lambda {\mathbf{I}}_C{\mathbf{V}}_0^{-1}\end{array}$$

贝叶斯角度的逻辑回归

Gaussian approximate

​ 不同于之前的线性回归，很难找到逻辑回归的共轭先验。

$$\begin{array}{}\text{(5)}& p(\theta |D)=\frac{1}{\text{Z}}{e}^{-E(\theta )}\end{array}$$

式中Z为规整系数的常数项，可以理解为$p(D)$，$E(\theta )$应具有$-{\log }^{p(D,\theta )}$的形式。

对$E(\theta )$进行泰勒展开

$$\begin{array}{rl}E(\theta )& =E({\theta }^{\ast })+\mathrm{\nabla }E(\theta {)}^T(\theta -{\theta }^{\ast })+\frac{1}{2}(\theta -{\theta }^{\ast }{)}^T{\mathrm{\nabla }}^{2}E({\theta }^{\ast })(\theta -{\theta }^{\ast })\\ & =E({\theta }^{\ast })+\frac{1}{2}(\theta -{\theta }^{\ast }{)}^T{\mathrm{\nabla }}^{2}E({\theta }^{\ast })(\theta -{\theta }^{\ast })\end{array}$$

可以得到$\text{(5)}$的形式近似于高斯分布

$$\begin{array}{rl}p(\theta |D)& \sim N(\theta |{\theta }^{\ast },{\mathrm{\nabla }}^{2}E{\left({\theta }^{\ast }\right)}^{-1})\\ p(D)& =(2\pi {)}^{\frac{D}{2}}|{\mathrm{\nabla }}^{2}E({\theta }^{\ast }){|}^{-\frac{1}{2}}{e}^{-E({\theta }^{\ast })}\end{array}$$

当对$p(D)$进行变换时可以得到BIC的形式

$$\begin{array}{rl}{\log }^{p(D)}& \approx {\log }^{p(D|{\theta }^{\ast })}+{\log }^{p({\theta }^{\ast })}-\frac{1}{2}{\log }^{|{\mathrm{\nabla }}^{2}E({\theta }^{\ast })|}\\ & \approx {\log }^{p(D|\hat{\theta })}-\frac{D}{2}{\log }^N\end{array}$$

上式中忽略了常数项，且默认$p(\theta )\propto 1$，由于$|{\mathrm{\nabla }}^{2}E(\hat{\theta })|=\sum \left|H_i\right|$（参考$\text{(1)}$），假设所有的Hessian矩阵相同。

Guassion approximate for Logistic Regression

​ 假设$p(\theta )\sim N(\theta |\mathbf{0},\mathbf{V})$，根据上述公式可以得到

$$\begin{array}{rl}\theta & =\arg min{\log }^{E(\theta )}\\ & =\arg min{\log }^{p(\theta )}+{\log }^{p(D|\theta )}\end{array}$$

上述的式子和[L2正则](# L2正则)类似。在得到$\hat{\theta }$后就得到了Laplace approximation后验分布。

MAP和Laplace approximateion比较

Approximatting the posterior predictive

​ 在得到参数的后验分布后，对$p(y|D,\theta )$进行估计

$$p(y|D,\theta )=\int p(y|\theta )p(\theta |D)d\theta$$

当然可以采用插值法，比如$\hat{\theta },E(\theta )$等，但是这样的方法会导致误差较大。可以采用Monte Carlo approximation的方法对$\theta$取样，计算平均的$p(y)$

Online Learning and stochastic optimization

​ 与离线训练确定参数不同，线上学习是不断应用于新数据、调整参数。

$${\theta }_k={\theta }_{k-1}-{\eta }_{k-1}{\mathbf{g}}_{k1}$$

上述的Online gradient descent可以用来对参数进行更新。

​ stochastic optimization是说在目标函数中有随机变量，如

$${\theta }^{\ast }=\arg minE(f(\theta ,D))$$

可以利用online gradient descent 对stochastic optimization进行计算，

在设置学习率$\eta$时需要满足Robbins-Monro条件，以保证收敛。

$$\begin{array}{rl}\sum \eta & =+\text{infin}\\ \sum {\eta }^2& <+\text{infin}\end{array}$$

如：

• ${\eta }_k=\frac{1}{k}$
• ${\eta }_k=({\tau }_0+k{)}^{-\kappa }$

生成方法和判别方法的对比

生成方法和判别方法的根本区别是判别方法通常极大化$p(y|\mathbf{x},\mathbf{w})$，而生成方法则为$p(y,\mathbf{x}|\mathbf{w})$。两个方法的优缺点对比如下：

1. 生成方法计算通常更简单，如朴素贝叶斯，通过参数的加减即可得到参数的分布；
2. 判别模型对特征的处理更方便，生成模型通常对特征假设了分布，如果进行特征的变换，则很可能与假设产生矛盾。

Fisher线性判别分析

高斯判别分析时（注意这是一个生成模型）在高维数据时时常会遇到一些问题。一个自然的降维方法是进行低维的线性变换$\mathbf{z}=\mathbf{W}\mathbf{x}$。

Fisher linear discriminant analysis假设变换后的低位数据可以用高斯判别分析很好的分离，其是生成模型和判别模型的混合。其最大的缺点为变换后的维度要小于$C-1$。这样对于二分类问题，就意味着要找出一个向量$\mathbf{w}$可以很好的分离数据点。

二分类问题

在二分类情况下，$\mathbf{w}$是单一向量，其应该满足这样的条件

$$max\frac{(m_1-m_2{)}^2}{s_1^2+s_2^2}$$

即两个类别的均值映射之差的平方应该尽量大，每个类别方差应该尽量小。

拓展至多维

待添加