【Network Architecture】Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning（转）

文章来源： https://www.cnblogs.com/shouhuxianjian/p/7786760.html

Feature Extractor[Inception v4]

---

0. 背景

随着何凯明等人提出的ResNet v1，google这边坐不住了，他们基于inception v3的基础上，引入了残差结构，提出了inception-resnet-v1和inception-resnet-v2，并修改inception模块提出了inception v4结构。基于inception v4的网络实验发现在不引入残差结构的基础上也能达到和inception-resnet-v2结构相似的结果，从而认为何凯明等人认为的：

“要想得到深度卷积网络必须使用残差结构”

这一观点是不完全正确的。
不过值得注意的是，google这边对于inception v2是属于哪篇论文有些不同观点：

• 在《Rethinking the Inception Architecture for Computer Vision》中认为：基于inception v1进行结构的改进是inception v2；在inception v2上加上BN是inception v3；
• 在《Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning》中将《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》认为是inception v2（即inception v1 上进行小改动再加上BN）；《Rethinking the Inception Architecture for Computer Vision》认为是inception v3

google认为他们之前在改变架构选择上相对保守：网络结构的改变只局限于独立的网络组件范围内，从而保持剩下模型稳定。而如果不改变之前的这种原则，那么生成的模型将会比需要的还复杂（即过头了）。在这里，他们决定抛弃之前那个设计原则，对不同尺度的网格都采用统一的inception模块

在下面的网络结构图中：所有后面不带V的卷积，用的都是same-padded，也就是输出的网格大小等于输入网格的大小（如vgg的卷积一样）；带V的使用的是valid-padded，表示输出的网格尺寸是会逐步减小的（如lenet5的卷积一样）。

在下面的结构图中，每一个inception模块中都有一个1∗1$1\ast 1$的没有激活层的卷积层，用来扩展通道数，从而补偿因为inception模块导致的维度约间。其中Inception-ResNet-V1的结果与Inception v3相当；Inception-ResNet-V1与Inception v4结果差不多，不过实际过程中Inception v4会明显慢于Inception-ResNet-v2，这也许是因为层数太多了。且在Inception-ResNet结构中，只在传统层的上面使用BN层，而不在合并层上使用BN，虽然处处使用BN是有好处，不过更希望能够将一个完整的组件放入单独的GPU中。因为具有大量激活单元的层会占用过多的显存，所以希望这些地方丢弃BN，从而总体增加Inception模块的数量。使得不需要去解决计算资源和模块什么的权衡问题。

1. inception v4

图1.1 inception v4 网络结构图

图1.2 图1.1的stem和Inception-A部分结构图

图1.3 图1.1的Reduction-A和Inception-B部分结构图

图1.4 图1.1的Reduction-B和Inception-C部分结构图

2. Inception-resnet-v1 & Inception-resnet-v2

图2.1 Inception-resnet-v1 & Inception-resnet-v2的结构图

2.1 Inception-resnet-v1的组成模块

图2.1.1 图2.1的stem和Inception-ResNet-A部分结构图

图2.1.2 图2.1的Reduction-A和Inception-ResNet-B部分结构图

图2.1.3 图2.1的Reduction-B和Inception-ResNet-C部分结构图

2.2 Inception-resnet-v2的组成模块

图2.2.1 图2.1的stem和Inception-ResNet-A部分结构图

图2.2.2 图2.1的Reduction-A和Inception-ResNet-B部分结构图

图2.2.3 图2.1的Reduction-B和Inception-ResNet-C部分结构图

3. 模型训练

在上述的Inception V4，Inception-Resnet-V1，Inception-ResNet-v2这三个模型中都用到了Reduction-A，他们各自的具体参数如下：

图3.1 不同模型下Reduction-A的模型超参数

作者们在训练的过程中发现，如果通道数超过1000，那么Inception-resnet等网络都会开始变得不稳定，并且过早的就“死掉了”，即在迭代几万次之后，平均池化的前面一层就会生成很多的0值。作者们通过调低学习率，增加BN都没有任何改善。

不过他们发现如果在将残差汇入之前，对残差进行缩小，可以让模型稳定训练，值通常选择[0,1.0.3]，如图3.2

图3.2 对inception-resnet模块进行最后输出值的等比例缩小

同样的在ResNet-v1中，何凯明等人也在cifar-10中发现了模型的不稳定现象：即在特别深的网络基础上去训cifar-10，需要先以0.01的学习率去训练，然后在以0.1的学习率训练。

不过这里的作者们认为如果通道数特别多的话，即使以特别低的学习率（0.00001）训练也无法让模型收敛，如果之后再用大学习率，那么就会轻松的破坏掉之前的成果。然而简单的缩小残差的输出值有助于学习的稳定，即使进行了简单的缩小，那么对最终结果也造成不了多大的损失，反而有助于稳定训练。

• 在inception-resnet-v1与inception v3的对比中，inception-resnet-v1虽然训练速度更快，不过最后结果有那么一丢丢的差于inception v3；
• 而在inception-resnet-v2与inception v4的对比中，inception-resnet-v2的训练速度更块，而且结果比inception v4也更好一点。所以最后胜出的就是inception-resnet-v2。

图3.3 不同模型的结果对比

分类: Deep Learning

好文要顶 关注我 收藏该文

仙守
关注 - 5
粉丝 - 62

+加关注

0

0

« 上一篇：Feature Extractor[ResNet]
» 下一篇：Recurrent Neural Network[Content]

	</div>
	<div class="postDesc">posted @ <span id="post-date">2017-11-05 15:00</span> <a href="https://www.cnblogs.com/shouhuxianjian/">仙守</a> 阅读(<span id="post_view_count">6440</span>) 评论(<span id="post_comment_count">0</span>)  <a href="https://i.cnblogs.com/EditPosts.aspx?postid=7786760" rel="nofollow">编辑</a> <a href="#" onclick="AddToWz(7786760);return false;">收藏</a></div>
</div>