ResNet

论文：Deep Residual Learning for Image Recognition
发表时间：2015
发表作者：(Microsoft Research)He-Kaiming, Ren-Shaoqing, Sun-Jian
论文链接：论文链接

ResNet

Resnet差不多是当前应用最为广泛的CNN特征提取网络。它的提出始于2015年，作者中间有大名鼎鼎的三位人物He-Kaiming, Ren-Shaoqing, Sun-Jian。

VGG网络试着探寻了一下深度学习网络的深度究竟可以深几许以能持续地提高分类准确率。我们的一般印象当中，深度学习愈是深（复杂，参数多）愈是有着更强的表达能力。凭着这一基本准则CNN分类网络自Alexnet的7层发展到了VGG的16乃至19层，后来更有了Googlenet的22层。可后来我们发现深度CNN网络达到一定深度后再一味地增加层数并不能带来进一步地分类性能提高，反而会招致网络收敛变得更慢，test dataset的分类准确率也变得更差。排除数据集过小带来的模型过拟合等问题后，我们发现过深的网络仍然还会使分类准确度下降（相对于较浅些的网络而言）。
VGG网络达到19层后再增加层数就开始导致分类性能的下降。而Resnet网络作者则想到了常规计算机视觉领域常用的residual representation的概念，并进一步将它应用在了CNN模型的构建当中，于是就有了基本的residual learning的block。它通过使用多个有参层来学习输入输出之间的残差表示，而非像一般CNN网络（如Alexnet/VGG等）那样使用有参层来直接尝试学习输入、输出之间的映射。实验表明使用一般意义上的有参层来直接学习残差比直接学习输入、输出间映射要容易得多（收敛速度更快），也有效得多（可通过使用更多的层来达到更高的分类精度）。

深度残差学习（Deep Residual learning）

残差学习

若将输入设为\(X\)，将某一有参网络层设为\(H\)，那么以\(X\)为输入的此层的输出将为\(H(X)\)。一般的CNN网络如Alexnet/VGG等会直接通过训练学习出参数函数H的表达，从而直接学习\(X -> H(X)\)。

而残差学习则是致力于使用多个有参网络层来学习输入、输出之间的参差即\(H(X) - X\)即学习\(X -> (H(X) - X) + X\)。其中\(X\)这一部分为直接的identity mapping，而\(H(X) - X\)则为有参网络层要学习的输入输出间残差。

这种结构也被称为shortcut或者skip connections。

Identity mapping

残差学习单元通过Identity mapping的引入在输入、输出之间建立了一条直接的关联通道，从而使得强大的有参层集中精力学习输入、输出之间的残差。一般我们用\(F(X, Wi)\)来表示残差映射，那么输出即为：\(Y = F(X, Wi) + X\)。当输入、输出通道数相同时，我们自然可以如此直接使用\(X\)进行相加。而当它们之间的通道数目不同时，我们就需要考虑建立一种有效的identity mapping函数从而可以使得处理后的输入\(X\)与输出\(Y\)的通道数目相同即\(Y = F(X, W_i) + W_s*X\)。

当X与Y通道数目不同时，作者尝试了两种identity mapping的方式。一种即简单地将X相对Y缺失的通道直接补零从而使其能够相对齐的方式，另一种则是通过使用1x1的conv来表示\(W_s\)映射从而使得最终输入与输出的通道达到一致的方式。

网络结构

作者为了表明残差网络的有效性，共使用了三种网络进行实验。其一为VGG19网络（这是VGG paper中最深的亦是最有效的一种网络结构），另外则是顺着VGG网络思维继续加深其层次而形成的一种VGG朴素网络，它共有34个含参层。最后则是与上述34层朴素网络相对应的Resnet网络，它主要由残差单元来构成。

ResNet有不同的网络层数，比较常用的是50-layer，101-layer，152-layer。他们都是由上述的残差模块堆叠在一起实现的。下图显示了更多细节和其它变种。

bottleneck构建模块

为了实际计算的考虑，作者提出了一种bottleneck的结构块来代替常规的Resedual block，它像Inception网络那样通过使用1x1 conv来巧妙地缩减或扩张feature map维度从而使得我们的3x3 conv的filters数目不受外界即上一层输入的影响，自然它的输出也不会影响到下一层module。

结果

下图我们可看出残差网络能够在深度增加的情况下维持强劲的准确率增长，有效地避免了VGG网络中层数增加到一定程度，模型准确度不升反降的问题。

下图我们可以看到常规Resnet网络与其它网络如VGG/Googlenet等在Imagenet validation dataset上的性能比较。