2020年3月13日
Xception: Deep Learning with Depthwise Separable Convolutions
摘要： 核心贡献：从Inception的思想：剥离时序卷积和空域卷积 得到启发，提出了Xception（Extreme Inception），希望能彻底解耦二者。 其他贡献： 本文提供了关于Inception的一种解释。 讨论了与现有深度可分离卷积的区别，并指出其最大影响因素是两层卷积之间的非线性化。 在两 阅读全文
posted @ 2020-03-13 09:57 纯洁的小兄弟 阅读(1114) 评论(0) 推荐(1) 编辑
Residual Attention Network for Image Classification
摘要： 首先作者介绍了在视觉领域中Attention也发挥着很大的作用，Attention不止能使得运算聚焦于特定区域，同时也可以使得该部分区域的特征得到增强，同时’very deep’的网络结构结合残差连接（Residual Network）在图像分类等任务中表现出了极好的性能。基于这两点考量，作者提出了 阅读全文
posted @ 2020-03-13 09:43 纯洁的小兄弟 阅读(436) 评论(0) 推荐(0) 编辑
2020年3月12日
ResNeXt：Aggregated Residual Transformations for Deep Neural Networks
摘要： 作者提出 ResNeXt 的主要原因在于：传统的要提高模型的准确率，都是加深或加宽网络，但是随着超参数数量的增加（比如channels数，filter size等等），网络设计的难度和计算开销也会增加。因此本文提出的 ResNeXt 结构可以在不增加参数复杂度的前提下提高准确率，同时还减少了超参数的 阅读全文
posted @ 2020-03-12 23:48 纯洁的小兄弟 阅读(524) 评论(0) 推荐(0) 编辑
Densely Connected Convolutional Networks
摘要： CNN网络已经是近几年来用于视觉物体检测的最主要的机器学习方法了。尽管它才被提出来二十年左右，但是高速发展的硬件以及逐渐被提出来的各种网络结构已经使得深度的网络学习成为一种可能。但是随着网络层数的增加不可避免的在训练的过程中就会出现梯度消失或者梯度爆炸这样的现象。一种有效的解决方法就是通过skip增 阅读全文
posted @ 2020-03-12 23:14 纯洁的小兄弟 阅读(1041) 评论(0) 推荐(0) 编辑
Deep Pyramidal Residual Networks
摘要： 残差结构对比 本文也是一种残差结构，只是逐渐增加特征通道数，而不是像以前的一样，在下采样之后双倍特征图。 ResNet参数多了，删除下采样单元（双倍特征维度）仍然导致表现下降 how 每一个单元特征数目增加 网络结构 αα \alphaα是一个超参数，文中=48； 这里不能直接使用恒等映射，因为通道 阅读全文
posted @ 2020-03-12 22:52 纯洁的小兄弟 阅读(459) 评论(0) 推荐(0) 编辑
SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size
摘要： 1. 摘要 最近关于深度卷积神经网络的研究都集中在提高准确率上，对于准确率在同一个水平的网络，更小的网络结构至少有三个优点：1. 在分布式训练的时候需要更少的跨服务器通信；2. 从云端导出新模型到自动驾驶汽车上需要更小的带宽；3. 在 FPGA 等其它硬件内存有限的情况下更容易部署。 作者提出了一个 阅读全文
posted @ 2020-03-12 22:40 纯洁的小兄弟 阅读(369) 评论(0) 推荐(0) 编辑
Wide Residual Networks
摘要： Wide Residual Networks (WRNs)是2016年被提出的基于扩展通道数学习机制的卷积神经网络。对深度卷积神经网络有了解的应该知道随着网络越深性能越好，但是训练深度卷积神经网络存在着这样子那样子的问题，如梯度消失/弥散（gradient vanishing/exploding）。 阅读全文
posted @ 2020-03-12 20:53 纯洁的小兄弟 阅读(403) 评论(0) 推荐(0) 编辑
Deep Networks with Stochastic Depth
摘要： 随机深度文章是发表于ECCV2016，这篇文章早于DenseNet.，DenseNet也是因为随机深度网络受到启发，才提出来。Deep Network with Stochastic depth，在训练过程中，随机去掉很多层，并没有影响算法的收敛性，说明了ResNet具有很好的冗余性。而且去掉中间几 阅读全文
posted @ 2020-03-12 20:46 纯洁的小兄弟 阅读(1181) 评论(0) 推荐(0) 编辑
Inception-ResNetv2：Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning
摘要： 在下面的结构图中，每一个inception模块中都有一个1∗11∗1的没有激活层的卷积层，用来扩展通道数，从而补偿因为inception模块导致的维度约间。其中Inception-ResNet-V1的结果与Inception v3相当；Inception-ResNet-V1与Inception v4 阅读全文
posted @ 2020-03-12 20:25 纯洁的小兄弟 阅读(402) 评论(0) 推荐(0) 编辑
Rethinking the Inception Architecture for Computer Vision
摘要： 这一篇论文很不错,也很有价值;它重新思考了googLeNet的网络结构--Inception architecture,在此基础上提出了新的改进方法; 文章的一个主导目的就是:充分有效地利用computation 第一部分:　文章提出了四个principles: 原则１:设计网络的时候需要避免 re 阅读全文
posted @ 2020-03-12 20:10 纯洁的小兄弟 阅读(314) 评论(0) 推荐(0) 编辑