Network In NetWork

Network In NetWork

2013年新加坡国立大学的林敏等人在论文中提出了1×1卷积核及NIN网络。

使用1×1卷积核进行卷积的过程如上图，它就是在卷积过程中采用大小为1×1的滤波器。如果神经网络的当前一层和下一层都只有一个信道，也就是\(n_C = 1\)，那么采用1×1卷积核起不到什么作用的。但是当它们分别为有m和n个信道时，采用1×1卷积核就可以起到跨信道聚合的作用，从而降低（或升高）数据的维度，可以达到减少参数的目的。换句话说，1×1的卷积核操作实现的其实就是一个特征数据中的多个Feature Map的线性组合，所以这个方法就可以用来改变特征数据的信道数。

如上面的例子中，用32个大小为1×1×192的滤波器进行卷积，就能使原先数据包含的192个信道压缩为32个。在此注意到，池化能压缩数据的高度（\(n_H\)）及宽度（\(n_W\)），而1×1卷积核能压缩数据的信道数（\(n_C\)）。