残差网络 ResNet
29 残差网络 ResNet【动手学深度学习v2】
详解残差网络
假设你在卷积神经网络中,只需要了解一个网络,那么ResNet就行了
保证至少不会变差
残差块 resblock 构成残差网络的要素
深入学习
https://blog.csdn.net/Xinyu_cheng/article/details/89683832
理论部分
https://www.cnblogs.com/shouhuxianjian/p/7766441.html
不是随着网络深度增加,效果就好的,他们发现了一个违背直觉的现象。
最开始,我们认为随着深度的增加,网络效果不好,那是因为存在着梯度消失和梯度爆炸的原因。不过随着大家的努力,这些问题可以通过归一化初始化(即用特定的初始化算法)和归一化层(Batch Normailzation)来极大的缓解。
可是,我们仍然能够发现随着网络深度的增加,网络反而在某些时刻结果变差了,如图0.1所示。这并不是过拟合造成的,而且随着网络层数再增加,错误反而变得更高了。作者将这一现象称之为“退化”现象。从这个现象中,我们得知,不是所有系统的优化方式都是一样的。
B站视频学习
https://www.bilibili.com/video/BV1vb4y1k7BV
同济子豪兄
在经过举例简单地了解了残差网络为什么会出现,出现的历史,没想到深度学习方面这么多优秀的华人
视频2
假如模型预测某张动物图片(还是刚才那只猫),但模型会输出来 5个预测结果 ,那么这五个结果中有猫这个分类的概率成为Top-5正确率,相反,预测输出的这五个结果里没有猫这个分类的概率则成为Top-5错误率。
网络退化现象不是过拟合也不是梯度消失(不会收敛)
尽管看完了p2,但只是youtube上演讲视频的一些一点点的额外讲解,究竟是通过什么来确保深度加深后不会变得更差;为什么恒等映射效果最好
视频3 resnet为什么能解决网络退化问题
关于第二点:每一个弱分类器拟合"前面的模型与GT之差"
中间解释resnet相当于并行,故抗风险性上优于VGG的串联
Resnet到底在解决一个什么问题呢?:https://www.zhihu.com/question/64494691
为什么resnet效果会那么好?:https://www.zhihu.com/question/52375139
Resnet是否只是一个深度学习的trick?:https://www.zhihu.com/question/459892388
呜,太难了,https://arxiv.org/pdf/1605.06431.pdf
推荐的论文也难,先看看知乎上文章
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 在鹅厂做java开发是什么体验
· 百万级群聊的设计实践
· WPF到Web的无缝过渡:英雄联盟客户端的OpenSilver迁移实战
· 永远不要相信用户的输入:从 SQL 注入攻防看输入验证的重要性
· 浏览器原生「磁吸」效果!Anchor Positioning 锚点定位神器解析