摘要: 作者提出 ResNeXt 的主要原因在于:传统的要提高模型的准确率,都是加深或加宽网络,但是随着超参数数量的增加(比如channels数,filter size等等),网络设计的难度和计算开销也会增加。因此本文提出的 ResNeXt 结构可以在不增加参数复杂度的前提下提高准确率,同时还减少了超参数的 阅读全文
posted @ 2020-03-12 23:48 纯洁的小兄弟 阅读(518) 评论(0) 推荐(0) 编辑
摘要: CNN网络已经是近几年来用于视觉物体检测的最主要的机器学习方法了。尽管它才被提出来二十年左右,但是高速发展的硬件以及逐渐被提出来的各种网络结构已经使得深度的网络学习成为一种可能。但是随着网络层数的增加不可避免的在训练的过程中就会出现梯度消失或者梯度爆炸这样的现象。一种有效的解决方法就是通过skip增 阅读全文
posted @ 2020-03-12 23:14 纯洁的小兄弟 阅读(1027) 评论(0) 推荐(0) 编辑
摘要: 残差结构对比 本文也是一种残差结构,只是逐渐增加特征通道数,而不是像以前的一样,在下采样之后双倍特征图。 ResNet参数多了,删除下采样单元(双倍特征维度)仍然导致表现下降 how 每一个单元特征数目增加 网络结构 αα \alphaα是一个超参数,文中=48; 这里不能直接使用恒等映射,因为通道 阅读全文
posted @ 2020-03-12 22:52 纯洁的小兄弟 阅读(448) 评论(0) 推荐(0) 编辑
摘要: 1. 摘要 最近关于深度卷积神经网络的研究都集中在提高准确率上,对于准确率在同一个水平的网络,更小的网络结构至少有三个优点:1. 在分布式训练的时候需要更少的跨服务器通信;2. 从云端导出新模型到自动驾驶汽车上需要更小的带宽;3. 在 FPGA 等其它硬件内存有限的情况下更容易部署。 作者提出了一个 阅读全文
posted @ 2020-03-12 22:40 纯洁的小兄弟 阅读(360) 评论(0) 推荐(0) 编辑
摘要: Wide Residual Networks (WRNs)是2016年被提出的基于扩展通道数学习机制的卷积神经网络。对深度卷积神经网络有了解的应该知道随着网络越深性能越好,但是训练深度卷积神经网络存在着这样子那样子的问题,如梯度消失/弥散(gradient vanishing/exploding)。 阅读全文
posted @ 2020-03-12 20:53 纯洁的小兄弟 阅读(386) 评论(0) 推荐(0) 编辑
摘要: 随机深度文章是发表于ECCV2016,这篇文章早于DenseNet.,DenseNet也是因为随机深度网络受到启发,才提出来。Deep Network with Stochastic depth,在训练过程中,随机去掉很多层,并没有影响算法的收敛性,说明了ResNet具有很好的冗余性。而且去掉中间几 阅读全文
posted @ 2020-03-12 20:46 纯洁的小兄弟 阅读(1127) 评论(0) 推荐(0) 编辑
摘要: 在下面的结构图中,每一个inception模块中都有一个1∗11∗1的没有激活层的卷积层,用来扩展通道数,从而补偿因为inception模块导致的维度约间。其中Inception-ResNet-V1的结果与Inception v3相当;Inception-ResNet-V1与Inception v4 阅读全文
posted @ 2020-03-12 20:25 纯洁的小兄弟 阅读(361) 评论(0) 推荐(0) 编辑
摘要: 这一篇论文很不错,也很有价值;它重新思考了googLeNet的网络结构--Inception architecture,在此基础上提出了新的改进方法; 文章的一个主导目的就是:充分有效地利用computation 第一部分: 文章提出了四个principles: 原则1:设计网络的时候需要避免 re 阅读全文
posted @ 2020-03-12 20:10 纯洁的小兄弟 阅读(303) 评论(0) 推荐(0) 编辑
摘要: 更深层次的神经网络更难训练。我们提出了一个残差学习框架,以简化对比以前使用的网络更深入的网络的训练。我们根据层输入显式地将层重新表示为学习残差函数( learning residual functions),而不是学习未定义函数。我们提供了综合的经验证据,表明这些残差网络易于优化,并且可以从大幅度增 阅读全文
posted @ 2020-03-12 19:46 纯洁的小兄弟 阅读(290) 评论(0) 推荐(0) 编辑
摘要: 提出一种Inception的网络结构,该有提高神经网络的计算资源利用率,可以在计算资源固定的情况下,使网络变得更深、更广。这种结构的提出是基于赫布理论和多尺度处理直觉。其中GoogleLeNet,是Inception网络结构的一个特例。 在目标检测的前沿,最大的收获不是简单的深层、更宽的神经网络的应 阅读全文
posted @ 2020-03-12 18:35 纯洁的小兄弟 阅读(190) 评论(0) 推荐(0) 编辑
摘要: Abstract 论文研究了卷积网络深度在大尺度图像识别设置中对其准确率的影响。主要贡献是使用一个带有非常小(3x3)卷积滤波器的架构对增加深度的网络进行了彻底的评估,这表明通过将深度推进到16 - 19个权重层,可以实现对先前art配置的显著改进。 Introduction CNN取得重大成就离不 阅读全文
posted @ 2020-03-12 18:19 纯洁的小兄弟 阅读(273) 评论(0) 推荐(0) 编辑