残差网络 ResNet
29 残差网络 ResNet【动手学深度学习v2】
详解残差网络
假设你在卷积神经网络中，只需要了解一个网络，那么ResNet就行了
保证至少不会变差
残差块 resblock 构成残差网络的要素
深入学习
https://blog.csdn.net/Xinyu_cheng/article/details/89683832
理论部分
https://www.cnblogs.com/shouhuxianjian/p/7766441.html
不是随着网络深度增加，效果就好的，他们发现了一个违背直觉的现象。
最开始，我们认为随着深度的增加，网络效果不好，那是因为存在着梯度消失和梯度爆炸的原因。不过随着大家的努力，这些问题可以通过归一化初始化（即用特定的初始化算法）和归一化层（Batch Normailzation）来极大的缓解。
可是，我们仍然能够发现随着网络深度的增加，网络反而在某些时刻结果变差了，如图0.1所示。这并不是过拟合造成的，而且随着网络层数再增加，错误反而变得更高了。作者将这一现象称之为“退化”现象。从这个现象中，我们得知，不是所有系统的优化方式都是一样的。
B站视频学习
https://www.bilibili.com/video/BV1vb4y1k7BV
同济子豪兄
在经过举例简单地了解了残差网络为什么会出现，出现的历史，没想到深度学习方面这么多优秀的华人
视频2
假如模型预测某张动物图片（还是刚才那只猫），但模型会输出来 5个预测结果 ，那么这五个结果中有猫这个分类的概率成为Top-5正确率，相反，预测输出的这五个结果里没有猫这个分类的概率则成为Top-5错误率。
网络退化现象不是过拟合也不是梯度消失（不会收敛）
尽管看完了p2，但只是youtube上演讲视频的一些一点点的额外讲解，究竟是通过什么来确保深度加深后不会变得更差；为什么恒等映射效果最好
视频3 resnet为什么能解决网络退化问题
关于第二点：每一个弱分类器拟合"前面的模型与GT之差"
中间解释resnet相当于并行，故抗风险性上优于VGG的串联
Resnet到底在解决一个什么问题呢？:https://www.zhihu.com/question/64494691
为什么resnet效果会那么好?:https://www.zhihu.com/question/52375139
Resnet是否只是一个深度学习的trick？:https://www.zhihu.com/question/459892388
呜，太难了，https://arxiv.org/pdf/1605.06431.pdf
推荐的论文也难，先看看知乎上文章
