02-13 Softmax回归

目录

• Softmax回归
• 一、Softmax回归详解
  • 1.1 让步比
  • 1.2 不同类之间的概率分布
  • 1.3 目标函数
  • 1.4 目标函数最大化
• 二、Softmax回归优缺点
  • 2.1 优点
  • 2.2 缺点

更新、更全的《机器学习》的更新网站，更有python、go、数据结构与算法、爬虫、人工智能教学等着你：https://www.cnblogs.com/nickchen121/p/11686958.html

Softmax回归

Softmax回归属于多分类c1,c2,…,ck$c_1,c_2,\dots ,c_k$模型，它通过估计某个样本属于k$k$个类别的各自的概率达到多分类的目的。它是逻辑回归的一般形式，即当k=2$k=2$的时候退化为逻辑回归。

一、Softmax回归详解

1.1 让步比

由于softmax回归更多的是逻辑回归的多分类形式，此处只给出softmax的定义及公式。
让步比可以理解成有利于某一特定事件的概率，可以定义为

p1−p$$\frac{p}{1-p}$$

在已知二分类问题的情况下每个分类的概率分别为yi^$\widehat{y_i}$和1−yi^$1-\widehat{y_i}$，可以定义logit函数，即让步比的对数形式（log-odds）为

logit(yi^)=logp(y=1|x,ω)p(y=0|x,ω)=logyi^1−yi^=log11+e−ωTx−ωTx1+e−ωTx=ωTx(1)(2)(3)(4)$$\begin{array}{}\text{(1)}& \log it(\widehat{y_i})& =\log \frac{p(y=1|x,\omega )}{p(y=0|x,\omega )}\text{(2)}& & =\log \frac{\widehat{y_i}}{1-\widehat{y_i}}\text{(3)}& & =\log \frac{\frac{1}{1+e^{-{\omega }^{T}x}}}{\frac{-{\omega }^{T}x}{1+e^{-{\omega }^{T}x}}}\text{(4)}& & ={\omega }^{T}x\end{array}$$

其中logit(p)$\log it(p)$函数等于事件发生的概率除以不发生的概率取对数，即表示特征值和对数概率之间的线性关系。

1.2 不同类之间的概率分布

现在假设有一个k$k$元分类模型，即样本的输出值为c1,c2,…,ck$c_1,c_2,\dots ,c_k$，对于某一个实例预测为ci$c_i$样本的概率总和为1$1$，即

∑i=1kp(y=i|x,ω)=1$$\sum _{i=1}^{k}p(y=i|x,\omega )=1$$

该k$k$元分类模型依据让步比的对数形式可以得到

lnp(y=1|x,ω)p(y=k|x,ω)=ωT1xlnp(y=2|x,ω)p(y=k|x,ω)=ωT2x⋯lnp(y=k−1|x,ω)p(y=k|x,ω)=ωTk−1xlnp(y=k|x,ω)p(y=k|x,ω)=ωTkx=0(5)(6)(7)(8)(9)$$\begin{array}{}\text{(5)}& & \ln \frac{p(y=1|x,\omega )}{p(y=k|x,\omega )}={\omega }_1^{T}x\text{(6)}& & \ln \frac{p(y=2|x,\omega )}{p(y=k|x,\omega )}={\omega }_2^{T}x\text{(7)}& & \cdots \text{(8)}& & \ln \frac{p(y=k-1|x,\omega )}{p(y=k|x,\omega )}={\omega }_{k-1}^{T}x\text{(9)}& & \ln \frac{p(y=k|x,\omega )}{p(y=k|x,\omega )}={\omega }_k^{T}x=0\end{array}$$

通过对上述公式化简可得

p(y=1|x,ω)p(y=k|x,ω)=eωT1xp(y=2|x,ω)p(y=k|x,ω)=eωT2x⋯p(y=k−1|x,ω)p(y=k|x,ω)=eωTk−1x(10)(11)(12)(13)$$\begin{array}{}\text{(10)}& & \frac{p(y=1|x,\omega )}{p(y=k|x,\omega )}=e^{{\omega }_1^{T}x}\text{(11)}& & \frac{p(y=2|x,\omega )}{p(y=k|x,\omega )}=e^{{\omega }_2^{T}x}\text{(12)}& & \cdots \text{(13)}& & \frac{p(y=k-1|x,\omega )}{p(y=k|x,\omega )}=e^{{\omega }_{k-1}^{T}x}\end{array}$$

eωT1x+eωT1x+⋯+eωTk−1x=∑i=1k−1eωTix=p(y=1|x,ω)p(y=k|x,ω)+p(y=2|x,ω)p(y=k|x,ω)+⋯+p(y=k−1|x,ω)p(y=k|x,ω)=p(y=1|x,ω)+p(y=2|x,ω)+⋯+p(y=k−1|x,ω)p(y=k|x,ω)=1−p(y=k|x,ω)p(y=k|x,ω)(14)(15)(16)(17)$$\begin{array}{}\text{(14)}& e^{{\omega }_1^{T}x}+e^{{\omega }_1^{T}x}+\cdots +e^{{\omega }_{k-1}^{T}x}& =\sum _{i=1}^{k-1}{e}^{{\omega }_i^{T}x}\text{(15)}& & =\frac{p(y=1|x,\omega )}{p(y=k|x,\omega )}+\frac{p(y=2|x,\omega )}{p(y=k|x,\omega )}+\cdots +\frac{p(y=k-1|x,\omega )}{p(y=k|x,\omega )}\text{(16)}& & =\frac{p(y=1|x,\omega )+p(y=2|x,\omega )+\cdots +p(y=k-1|x,\omega )}{p(y=k|x,\omega )}\text{(17)}& & =\frac{1-p(y=k|x,\omega )}{p(y=k|x,\omega )}\end{array}$$

既得p(y=k|x,ω)=11+∑k−1i=1eωTix$p(y=k|x,\omega )=\frac{1}{1+\sum _{i=1}^{k-1}{e}^{{\omega }_i^{T}x}}$

通过p(y=k|x,ω)$p(y=k|x,\omega )$即可推出p(y=j|x,ω)=eωTjx1+∑k−1t=1eωTtxj=1,2,…,k−1$p(y=j|x,\omega )=\frac{e^{{\omega }_j^{T}x}}{1+\sum _{t=1}^{k-1}{e}^{{\omega }_t^{T}x}}j=1,2,\dots ,k-1$，因此可以得到k$k$元分类模型的k$k$个类的概率分布为

p(c=k|x,ω)=⎧⎩⎨⎪⎪⎪⎪eωTjx1+∑k−1t=1eωTtxj=1,2,…,k−1if类别为1,2,…,k−111+∑k−1i=1eωTixif类别为k$$p(c=k|x,\omega )=\{\begin{array}{l}\frac{e^{{\omega }_j^{T}x}}{1+\sum _{t=1}^{k-1}{e}^{{\omega }_t^{T}x}}j=1,2,\dots ,k-1if类别为1,2,\dots ,k-1\\ \frac{1}{1+\sum _{i=1}^{k-1}{e}^{{\omega }_i^{T}x}}if类别为k\end{array}$$

1.3 目标函数

上一节基于ωTkx=0${\omega }_k^{T}x=0$计算出每个分类的概率，然而现实中往往ωTkx≠0${\omega }_k^{T}x\ne 0$，可以使用上一节的推导过程假设ωTkx≠0${\omega }_k^{T}x\ne 0$则可以推导出k$k$元分类模型的k$k$个类的概率分布为

p(c=k|x,ω)=eωTjx∑kt=1eωTtxj=1,2,…,k$$p(c=k|x,\omega )=\frac{e^{{\omega }_j^{T}x}}{\sum _{t=1}^k{e}^{{\omega }_t^{T}x}}j=1,2,\dots ,k$$

通过上述k$k$个类别的概率分布可得似然函数

L(ω)=∏i=1m∏k=1kp(c=k|xi,ω)yik=∏i=1m∏k=1k(e(ωTkxi)∑kt=1eωTtxi)yik(18)(19)$$\begin{array}{}\text{(18)}& L(\omega )& =\prod _{i=1}^m\prod _{k=1}^{k}p(c=k|x_i,\omega {)}^{{y_i}_k}\text{(19)}& & =\prod _{i=1}^m\prod _{k=1}^k(\frac{e^{({\omega }_k^T{x}_i)}}{\sum _{t=1}^k{e}^{{\omega }_t^T{x}_i}}{)}^{y_{i}k}\end{array}$$

通过似然函数即可得对数似然函数即目标函数（注：该目标函数与交叉熵损失函数的形式一致，二元逻辑回归可以理解为交叉熵损失函数两个类变量的特殊形式，Softmax回归可以理解成交叉熵损失函数的多个类变量的特殊形式，交叉熵为

Jm(ω)=logL(ω)=∑i=1m∑k=1kyik(ωTkxi−log∑t=1ke(ωTtxi))(20)(21)$$\begin{array}{}\text{(20)}& J_m(\omega )& =\log L(\omega )\text{(21)}& & =\sum _{i=1}^m\sum _{k=1}^k{y_i}_k({\omega }_k^T{x}_i-\log \sum _{t=1}^k{e}^{({\omega }_t^T{x}_i)})\end{array}$$

1.4 目标函数最大化

由于Softmax回归和逻辑回归都可以使用梯度上升法使得目标函数最大化，并且方式一样，因此此处只给出目标函数对参数的偏导。

∂J(ω)∂ωk=∑i=1m(yik−p(yik|xi,ωk))xi$$\frac{\mathrm{\partial }J(\omega )}{\mathrm{\partial }{\omega }_k}=\sum _{i=1}^m({y_i}_k-p({y_i}_k|x_i,{\omega }_k))x_i$$

二、Softmax回归优缺点

2.1 优点

1. 基于模型本身可以处理多分类问题

2.2 缺点

1. 计算极其复杂

22$2^2$