关于深度残差网络（Deep residual network, ResNet）

题外话：

From 《白话深度学习与TensorFlow》

深度残差网络：

深度残差网络的设计就是为了克服这种由于网络深度加深而产生的学习效率变低，准确率无法有效提升的问题（也称为网络退化）。

甚至在一些场景下，网络层数的增加反而会降低正确率。这种本质问题是由于出现了信息丢失而产生的过拟合问题（overfitting，所建的机器学习模型或者是深度学习模型在训练样本中表现的过于优越，导致在验证数据集及测试数据集中表现不佳，即为了得到一致假设而使假设变得过度复杂）。解决思路是尝试着使他们引入这些刺激的差异性和解决泛化能力为主。

Residual net(残差网络)：

将前若干层的数据输出直接跳过多层而引入到后面数据层的输入部分。

后面的任何一层向量的内容会有一部分由其前面的某一层线性贡献。

 

进入正文：

        ResNet在2015年被提出，在ImageNet比赛classification任务上获得第一名，因为它“简单与实用”并存，之后很多方法都建立在ResNet50或者ResNet101的基础上完成的，检测，分割，识别等领域都纷纷使用ResNet，Alpha zero也使用了ResNet，所以可见ResNet确实很好用。 （https://blog.csdn.net/lanran2/article/details/79057994 ）

ResNet的意义：

        随着网络的加深，出现了训练集准确率下降的现象，我们可以确定这不是由于Overfit过拟合造成的(过拟合的情况训练集应该准确率很高)；所以作者针对这个问题提出了一种全新的网络，叫深度残差网络，它允许网络尽可能的加深。

残差是指什么？

其中ResNet提出了两种mapping：一种是identity mapping，指的就是上图中”弯弯的曲线”，另一种residual mapping，指的就是除了”弯弯的曲线“那部分，所以最后的输出是 y=F(x)+x

identity mapping顾名思义，就是指本身，也就是公式中的x，而residual mapping指的是“差”，也就是y−x，所以残差指的就是F(x）部分。

理论上，对于“随着网络加深，准确率下降”的问题，Resnet提供了两种选择方式，也就是identity mapping和residual mapping，如果网络已经到达最优，继续加深网络，residual mapping将被push为0，只剩下identity mapping，这样理论上网络一直处于最优状态了，网络的性能也就不会随着深度增加而降低了。
ResNet的结构：

它使用了一种连接方式叫做“shortcut connection”，顾名思义，shortcut就是“抄近道”的意思

 这是文章里面的图，我们可以看到一个“弯弯的弧线“这个就是所谓的”shortcut connection“，也是文中提到identity mapping，这张图也诠释了ResNet的真谛，当然大家可以放心，真正在使用的ResNet模块并不是这么单一，文章中就提出了两种方式： 

这两种结构分别针对ResNet34（左图）和ResNet50/101/152（右图），一般称整个结构为一个”building block“。其中右图又称为”bottleneck design”，目的一目了然，就是为了降低参数的数目，第一个1x1的卷积把256维channel降到64维，然后在最后通过1x1卷积恢复，整体上用的参数数目：1x1x256x64 + 3x3x64x64 + 1x1x64x256 = 69632，而不使用bottleneck的话就是两个3x3x256的卷积，参数数目: 3x3x256x256x2 = 1179648，差了16.94倍。
对于常规ResNet，可以用于34层或者更少的网络中，对于Bottleneck Design的ResNet通常用于更深的如101这样的网络中，目的是减少计算和参数量（实用目的）。
---------------------
ResNet50和ResNet101

 这里把ResNet50和ResNet101特别提出，主要因为它们的出镜率很高，所以需要做特别的说明。给出了它们具体的结构：

 

表2，Resnet不同的结构
首先我们看一下表2，上面一共提出了5中深度的ResNet，分别是18，34，50，101和152，首先看表2最左侧，我们发现所有的网络都分成5部分，分别是：conv1，conv2_x，conv3_x，conv4_x，conv5_x，之后的其他论文也会专门用这个称呼指代ResNet50或者101的每部分。
拿101-layer那列，我们先看看101-layer是不是真的是101层网络，首先有个输入7x7x64的卷积，然后经过3 + 4 + 23 + 3 = 33个building block，每个block为3层，所以有33 x 3 = 99层，最后有个fc层(用于分类)，所以1 + 99 + 1 = 101层，确实有101层网络；
注：101层网络仅仅指卷积或者全连接层，而激活层或者Pooling层并没有计算在内；
这里我们关注50-layer和101-layer这两列，可以发现，它们唯一的不同在于conv4_x，ResNet50有6个block，而ResNet101有23个block，差了17个block，也就是17 x 3 = 51层。
--------------------- 

基于ResNet101的Faster RCNN

 实际的基于ResNet101的Faster RCNN的结构图： 

         上图展示了整个Faster RCNN的架构，其中蓝色的部分为ResNet101，可以发现conv4_x的最后的输出为RPN和RoI Pooling共享的部分，而conv5_x(共9层网络)都作用于RoI Pooling之后的一堆特征图(14 x 14 x 1024)，特征图的大小维度也刚好符合原本的ResNet101中conv5_x的输入； 

         最后大家一定要记得最后要接一个average pooling，得到2048维特征，分别用于分类和框回归。
---------------------
残差学习（Residual learning）

 https://www.baidu.com/link?url=jBH2T1Ak_TMZcIARecOqq_o59ryUz98O3k0GT57LyvJvp26c_5A582Cn3YXHr7c1wMGVo6iQFIvRJAVXDwkk8a&wd=&eqid=a7c2e37c00019a2c000000055bcbf698

 网络越深，越容易出现梯度消失，导致模型训练难度变大，出现“退化”现象

退化：当模型的深度增加时，输出的错误率反而提高了

http://www.myzaker.com/article/5997f9f51bc8e01202000015/