Lenet5简记

再次学习Lenet5，这里进行一个简单的记录

问题定义：

    输入：32x32 灰度图片

    输出：0-9 数字识别结果

 

总共7层（不包含输入，包含输出层）：

  输入-> 卷积->池化->卷积->池化->卷积->全连接->全连接输出

 

关键点：

   卷积核：为5x5

   padding：为0

   步长：为1

留意点：

   1.由于输入是灰度图像，可以认为通道数为1

   2.在第二个卷积中，进行了不同feature的组合，第三个卷积中，进行全部累加组合（类似于后来的卷积，在后来的卷积中，组合变成了通道）

 

（一）输入                                                                                               32x32

 

（二）第一层卷积 6个5x5 卷积核   padding为0，步长为1                    6个 28x28     （参数个数  6x5x5+6）

 

（三）第一层池化  2x2 池化，不重叠                                                    6个 14x14

 

（四）第二层卷积 16个 5x5 卷积核   padding为0，步长为1                 16个10x10  （这里进行了 3个、4个和6个的组合，总共16种情况， 其中，3个组合的6种，4个组合的9种，6个组合的1种）对应的参数为  （3x6+4x9+6x1）x5x5+16

 

（五）第二层池化 2x2 池化，不重叠                                                     16个 5x5

 

（六）第三层卷积  120个 5x5 卷积核   padding为0，步长为1              120个1x1   （这里中，每一个得到的1x1值都是16个卷积核卷积后加上1个偏置项得到的，所以参数个数为  （16x5x5+1)x120 ）

 

（七）全连接1                                                                                         84              （参数 120x84+84）

 

（八）全连接2 这里原始论文使用rbf 单元 yi=sum（(xj-wij)^2）            10               （参数  84x10）

 

   

 

在多说一点：

  在第二层卷积中，会发现进行了组合，但又不是想第三层卷积中的完全组合。原论文中对这种做法的原因进行了2点解释：

           a.为了使得连接数可控，个人理解还是为了减少参数

           b.为了打破对称性，让不同的feature map学习到一个不同的特征（因为他们的输入数据是不一样的）

 

 

 

 

 

上述大概就是Lenet5的一个简记了，对应的图解析，网上也很多，这里就简单贴一个：

https://blog.csdn.net/happyorg/article/details/78274066

可以看看上面的图