CNN的学习笔记

1、卷积核的概念,卷积核的size,就是滑动窗口的大小,例如原始数据为28*28的手写数字,滑动窗口size为5*5,则卷积核的size为5*5。卷积核就是权重集合,就是5*5+1。1表示偏置项。卷积核就是输入层的25个点+1个偏置项,链接卷积层的一个点后的权重值集合W。

2、feature map 就是通过卷积以后,计算的输出的神经元值的集合,比如输入28*28的手写数字,经过5*5的卷积核卷积,通过sigmod的函数计算得到的输出神经元的值的集合24*24就是一个feature map,由于一般用多个卷积核进行卷积,假设6个,那么第二层就有6*24*24的数据,即6个featuremap。

3、每一层内的权值即卷积核是共享的,值是一样的。例如6个featuremap,那么输入层到某一个featuremap的时候有24*5*5个链接,如果按照普通的神经网络的话就有24*5*5个w需要学习,但是权值共享以后(即权值相同),就只要学习5*5个w权值即可。因为另外23个5*5的值与这个5*5是一样的。

4、pool又叫subsampling,就是子采样。其实就是把图片模糊化,目的是降维。例如24*24的C1层经过pooling后,变为6个14*14的featuremap。S3层的卷积核一般为2*2,即卷积核是1/4。其实就是w=1/4。c层与s层的链接w是不需要学习的。S3层的featuremap(其实就相当于这层的值)也不用sigmod计算,而是直接把上一层C2层的featuremap直接mean pooling。均值化即可。

5、C3层也是卷积层,同样采用5*5的卷积核。要从上面的6个subsampling的featuremap中链接。这一层的featuremap为16个,也就是用16个卷积核去卷积。C3中的每个featuremap是连接到S2中的所有6个或者几个featuremap的,表示本层的特征map是上一层提取到的特征map的不同组合(这个做法也并不是唯一的)。为什么不把S2中的每个特征图连接到每个C3的特征图呢?原因有2点。第一,不完全的连接机制将连接的数量保持在合理的范围内。第二,也是最重要的,其破坏了网络的对称性。由于不同的特征图有不同的输入,所以迫使他们抽取不同的特征。

 

6、最后一层输出层,采用全连接的形式   F6层有84个单元(之所以选这个数字的原因来自于输出层的设计),与C5层全相连。有10164个可训练参数。如同经典神经网络,F6层计算输入向量和权重向量之间的点积,再加上一个偏置。然后将其传递给sigmoid函数产生单元i的一个状态。

7、cnn源码中的d表示残值,就是对cost function 求导数的来的,步骤如下

posted on 2014-11-19 20:55  alexanderkun  阅读(491)  评论(0编辑  收藏  举报

导航