动手学深度学习5-softmax回归

• softmax回归
  • softmax 回归模型
  • 单样本分类的矢量计算表达式
  • 小批量样本分类的矢量计算表达式
  • 交叉熵损失函数
  • 模型预测以及评价
  • 小结

softmax回归

前几节介绍的是线性回归模型适用于输出连续值的情况，在另外一类情况下，模型输出的是一个图像的类别这样的离散值。对于离散值预测的问题，我们可以采用诸如softmax回归在内的分类模型。
和线性回归不同，softmax回归的输出单元从一个变成了多个，且引入了运算使输出值更适合离散值的预测和训练。以softmax回归模型为例，介绍神经网络中的分类模型。

让我们先考虑一个简单的图像分类维内托，其输入图像的高和宽均为2像素，且色彩是灰度。这样的像素值都可以用一个标量表示。我们将图像中的4像素分别记为\(x_{1},x_{2},x_{3},x_{4}\)。假设训练数据中图像的真实标签为狗，猫或者鸡(假设可以用4个像素表示出这三种动物),这些标签分别对应的离散值\(y_{1},y_{2},y_{3}\)。我们通常使用离散值的数值来表示类别，例如\(y_{1}=1,y_{2}=2,y_{3}=3\)。这样一张图片的标签为1，2和3这三个数值中的一个。但是这种连续值到离散值的转化通常会影响到分类的质量。因此我们使用更加适合离散值输出的模型来解决分类问题

softmax 回归模型

softmax回归和线性回归一样将输入特征与权重做线性叠加。与线性回归的一个主要不同在于，softmax回归的输出值的个数等于标签里的类别数。因此一共有4个特征和3个类别的动物类别，所以权重包含12个标量带下标的\(w\)，偏差包含3个标量带下标的\(b\)，且对于每个输入计算\(o_{1},o_{2},o_{3}\)这三个输出

\(o_{1} = x_{1}w_{11} + x_{2}w_{21}+x_{3}w_{31}+x_{4}w_{41}+b_{1}\),
\(o_{2} = x_{1}w_{12} + x_{2}w_{22}+x_{3}w_{32}+x_{4}w_{42}+b_{2}\),
\(o_{3} = x_{1}w_{13} + x_{2}w_{23}+x_{3}w_{33}+x_{4}w_{43}+b_{2}\).

下图用神经网络描绘了上面的计算。softmax回归同线性回归一样，也是一个单层神经网络。由于每个输出\(o_{1},o_{2},o_{3}\)的计算都有以来与所有的输入\(x_{1},x_{2},x_{3},x_{4}\)，softmax回归的输出层也是一个全连接层。

既然分类问题需要输出离散的预测结果，一个简单的方法就是把计算出来的\(o_{1},o_{2},o_{3}\)作为预测类别的是i的置信度，并将值最大的输出所对应的类作为预测输出，即
\(\underset{i}{\arg\max}o_{i}\),如果\(o_{1},o_{2},o_{3}\)分别为0.1，10，0.1，由于\(o_{2}\)最大，那么预测的类别为2，其代表猫

• 输出层的值的范围不确定，很难直观的判断这些值的意义。
• 真实标签是离散值，离散值与不确定范围的输出值之间的误差难以衡量，
  而通过softmax运算解决了以上两个问题，它通过下式将输出值转换成值为正，且和为1的概率分布：
  \(\hat{y}_{1},\hat{y}_{2},\hat{y}_{3}\) = \(softmax(o_{1},o_{2},o_{3})\)
  其中

\[\hat { y } _ { 1 } = \frac { \exp ( o_{1} ) } { \sum _ { i = 1 } ^ { 3 } \exp ( o_{i }) } , \quad \hat { y } _ { 2 } = \frac { \exp \left( o _ { 2 } \right) } { \sum _ { i = 1 } ^ { 2 } \exp \left( o _ { i } \right) } , \quad \hat { y } _ { 3 } = \frac { \exp \left( o _ { 3 } \right) } { \sum _ { i = 1 } ^ { 3 } \exp \left( o _ { i } \right) } \]

容易看出\(\hat{y}_{1}+\hat{y}_{2}+\hat{y}_{3}=1\),且0<=\(\hat{y}_{1},\hat{y}_{2},\hat{y}_{3}\)<=1。\(\hat{y}_{1},\hat{y}_{2},\hat{y}_{3}\)是一个合理的概率分布。这时候，如果\(\hat{y}_{2}\)=0.8,不管其他两个值是多少，我们都知道图像类别为猫的概率为80%，此外
\(\underset{i}{\arg\max}o_{i}\) = \(\underset{i}{\arg\max}\hat{y}_{i}\)，softmax运算不会改变预测类别的输出结果。

单样本分类的矢量计算表达式

为了提高计算效率，我们可以将单样本分类通过矢量计算来表达。在上面的图像分类问题中，假设softmax回归的权重和偏差参数分别为

\[\boldsymbol { W } = \left[ \begin{array} { l l l } { w _ { 11 } } & { w _ { 12 } } & { w _ { 13 } } \\ { w _ { 21 } } & { w _ { 22 } } & { w _ { 23 } } \\ { w _ { 31 } } & { w _ { 32 } } & { w _ { 33 } } \\ { w _ { 41 } } & { w _ { 42 } } & { w _ { 43 } } \end{array} \right] , \quad \boldsymbol { b } = \left[ \begin{array} { l l l } { b _ { 1 } } & { b _ { 2 } } & { b _ { 3 } } \end{array} \right] \]

设高和宽分别为2个像素的图像样本i的特征为

\[x^{(i)} = \left[ \begin{array} { l l 1 1} { x _ { 1 }^{(i)} } & { x _ { 2 }^{(i)} } & { x _ { 3 }^{(i)} }&{x_{4}^{(i)}} \end{array} \right]$$, 输出层的输出为 $$\boldsymbol { o^{(i)} } = \left[ \begin{array} { l l l } { o _ { 1 }^{(i)} } & { o _ { 2 }^{(i)}} & { o _ { 3 }^{(i)} } \end{array} \right]$$, 预测为狗、猫或者鸡的概率分布为 $$\boldsymbol {\hat{\boldsymbol{y}}^{(i)} } = \left[ \begin{array} { l l l } { \hat{y} _ { 1 }^{(i)} } & { \hat{y} _ { 2 }^{(i)}} & { \hat{y} _ { 3 }^{(i)} } \end{array} \right]$$, softmax回归对样本i分类的矢量计算表达式为 $$o^{(i)}=x^{(i)} \boldsymbol{W} +b\]

\[\hat{y}^{(i)} = softmax(o^{(i)}) \]

小批量样本分类的矢量计算表达式

为了进一步的提升效率，我们通常对小批量的数据做矢量计算。广义上讲，给定一个小批量样本，其批量大小为n，输入个数(特征个数)为d，输出个数为(类别数)为q。
设批量特征为\(\boldsymbol{X}∈R^{nxd}\)。假设softmax回归的权重和偏差参数为\(\boldsymbol{W}∈R^{d✖️q}和\boldsymbol{b}∈R^{1✖️q}\) softmax回归的矢量计算表达式为

\[\boldsymbol{O}=\boldsymbol{X}\boldsymbol{W}+\boldsymbol{b} \]

\[\boldsymbol{\hat{Y}} = softmax(\boldsymbol{O}) \]

其中的假发运算使用了广播机制，\(\boldsymbol{O},\boldsymbol{\hat{Y}}∈R^{n✖️q}且这两个矩阵的第i行分别为样本i的输出o^{(i)}和概率分布\hat{y}^{(i)}\)

交叉熵损失函数

使用softmax运算后可以方便的与离散标签计算误差。我们已经知道，softmax运算变成一个合理的类别预测分布。实际上，真实标签也可以用类别分布表达：对于样本i，我们可以构造向量\(y^{(i)} ∈R^q,使其第y^{(i)}个元素为1，其余为0.这样我们的训练目标可以设置为使预测概率分布\hat{y}^{(i)}尽可能的接近真实的标签概率分布y^{(i)}\)

我们可以像线性回归那样使用平方损失函数\(||\hat{y}^{(i)}-y^{(i)}||^2/2\)，然而想要预测出正确的分类结果，并不需要预测概率完全等于标签概率。交叉熵(cross entropy)是一个常用的衡量方法：

\[H \left( \boldsymbol { y } ^ { ( i ) } , \hat { \boldsymbol { y } } ^ { ( i ) } \right) = - \sum _ { j = 1 } ^ { q } y _ { j } ^ { ( i ) } \log \hat { y } _ { j } ^ { ( i ) } \]

假设训练样本的样本数为n,交叉熵损失函数定义为
\(\ell\left({Θ}\right)\) = \(\frac{1}{n}\sum_{i=1}^{n}H\left(\boldsymbol{y^{(i)}},\hat{\boldsymbol{y}}^{(i)}\right)\)

\(Θ\)代表模参数吗，具体细节可以参考
讨论区
博客

cross entropy一般是用来量化两个机率分布之间的差距的
举个例子，你现在要预测一张图片是狗或猫
你的模型得到的概率是
狗 = 0.4， 猫 = 0.6
而真实的概率则是
狗 = 0.0， 猫 = 1.0

那么预测出来的概率和真实的概率，两者之间的差距有多大呢？这就是cross entropy要量化的事情了
根据上述的例子，我们可知道cross entropy为

-( 0.0 * log(0.4) + 1.0*log(0.6) ) = 0.22

0.22代表的是你的model预测出来的概率和真实的概率之间，差距有多大

模型预测以及评价

在训练好softmax回归模型后，给定任意样本特征，就可以预测出每个输出类别的概率。通常我们把预测概率最大类别作为输出类别。如果它与真实标签一致，说明预测是正确的。后续分类问题将采用准确率accuracy 来评估模型的表现。

小结

• softmax回归适用于分类问题，它使用softmax运算输出类别的概率分布
• softmax回归是一个单层神经网络，输出个数等于分类问题中的类别个数
• 交叉熵适合衡量两个概率分布的差异