【深度学习】沐神领读论文：ResNet

【摘要】

提出问题：深的神经网络难训练。使用残差学习使容易。非常容易训练，很好的精度，增加层。Imagenet 152层的深度，比vgg更低的复杂度

CIFAR-10小数据，居然能训练100-1000层！

COCO的目标检测数据集，用之前学习的残差网络，提升了28%。 

【图】

图1：56层不如20层，both on训练and测试。

图2/3：架构图

图4：实验结果，没加resnet，34不如18，加了之后比18强

表4：比google-net，从7.89降到了4.49

 

【introduction】

deep CNN自动把特征的level表现出来了，

好的初始化和BN使得很深可以训练。更深的网络并没有overfit，因为训练误差也变大了。

理论深的新加的搞成id，是至少不比浅的差的。但sgd找不到。

本来的浅的网络输出是x, 新加一个网络，学习h(x)-x， 不加新参数不增加复杂度，很容易训练。越深精度就越高！

在不同数据集都很有效！

【related work】

shortcut之前也用到过，比如highway networks, 但之前的工作比较复杂，这里只是一个加法。

旧的技术在更多的数据上可能结论会有不同！！！

【实验细节】

3.3 残差中输入和输出形状不一致的解决方法：1、输入和输出上分别添加额外的0，2、做投影，以卷积为例，用1x1的卷积核解决，通道数变为2倍，步长也为2（图像高和宽都变为1/2）

3.4