Network In Network

Introduction:

传统的cnn过滤器是一个泛化的线性模型（GLM），我们认为这GLM的抽象能力是低级别的。把GLM替换为一个更有效的非线性函数近似能够提高抽象能力。当例子是线性可分时，GLM能实现很好的抽象。然而例子很多情况下是线性不可分的，输入的线性函数才能很好地表达。此网络没有采用传统的全连接层，而是采用全局平均池化层。一方面是因为全局平均池化层能很好解释特征映射和类别之间的联系。另一方面，全连接层由于参数太多容易过拟合并且高度依赖dropout regularization，但全局平均池化层本身就是一个结构化的regularizer，他能够天然地阻止过拟合。

 

 

全局平均池化：
　　传统卷积网络中，卷积层在较低的层进行特征提取，最后一层卷积的特征映射被向量化后传入全连接层再进入softmax的逻辑回归层。全连接层建立了卷积结构和传统分类神经网络的桥梁。

　　使得最后一个多层感知卷积层获得的每一个特征图能够对应于一个输出类别。

　　方式：将最后一层的特征图求平均数，然后把这些平均数组成一个特征向量输入到softmax层中

　　优点：1.强化特征映射和类别之间的一致性

　　　　  2.没有参数，可以避免过拟合

　　　　  3.对空间信息求和，因此让输入的空间变换更加稳健

　   可以把全局平均池化看作是一个结构化的正则项

 

http://blog.csdn.net/zhufenghao/article/details/52526611

http://blog.csdn.net/zimenglan_sysu/article/details/51659549

http://www.jianshu.com/p/96791a306ea5