网络结构解读之inception系列四：Inception V3

　　Inception V3根据前面两篇结构的经验和新设计的结构的实验，总结了一套可借鉴的网络结构设计的原则。理解这些原则的背后隐藏的动机比单纯知道这个操作更有意义。

　　Rethinking the Inception Architecture for Computer Vision

• 主题：如何高效的增大网络规模

　　  通过分解卷积和正则实现高效计算

• 设计网络原则

　　1.避免表征瓶颈。大部分时候，特征大小应当缓慢变小，在变小的同时增加维度。（下采样是减小信息，而升维是增加信息）

　　2.高维特征更容易局部处理，收敛更快。（高维易分）

　　3.空间聚合能通过低维嵌入达到无损。（concat前可以降维，性能损失接近无）

　　4.平衡宽度和深度。（宽度和深度的比例要合适）

　　以上原则或许是有意义的，但不能直接参照，是在不明确的时候下使用的。（相对来说可靠，但不是绝对的原则）

• 分解卷积

　　2个3*3代替1个5*5 减少28%的计算量。

 

       一个问题，第一个3*3后接线性激活会不会比ReLU更好？（因为5*5是线性操作，而2个3*3去代替的话全程应当是线性操作）实验结果，relu更优，作者猜测是因为网络能够学习这种空间变化的增强（实验证明这是数据增强）

• 非对称分解

　　3*3卷积分解2个2*2节省11%计算量，而分解成1*3和3*1节省33%

 

　　理论上，任何卷积都能分解成不对称卷积，但实验发现，在低层次效果不好，在12到20层加较好

• 辅助分类器

　　经过实验观察，辅助分类器在训练初期无明显作用，接近训练结束时性能开始超越，作者认为起到正则化作用。

 

• 高效降分辨率（下采样）

　　按照准则1，在使用pooling进行下采样前，激活值要升维。

　　参照下图，如果使用左边的方式，违背准则1。如果使用右边，计算量较大（V1是这种方式）

　　Inception Reduction Module

• 结构InceptionV2（V3去掉BN）

　　　5*5分解卷积　　　　　　　　非对称卷积　

基于原则2高维易分

•  标签平滑正则LSR （ label smoothing regularization ）

 　　作者认为硬标签下softmaxloss会过拟合，改为soft label。

　　 croos-entropy:

　　最终损失：

　　LSR：

　　最终损失：

• 低分辨率输入实验

 

• Inception对比实验