吴恩达深度学习笔记 course4 week2 深度卷积网络实例探究

1.why look at case study

这周会讲一些典型的cnn模型,通过学习这些,我们能够对于cnn加深自己的理解,并且在实际的应用中有可能应用到这些,或从中获取灵感

2.Classic networks

LeNet-5模型是Yann LeCun教授于1998年提出来的，它是第一个成功应用于数字识别问题的卷积神经网络。在MNIST数据中，它的准确率达到大约99.2%。

它的结构如下:由conv layer - pool layer - conv layer - pool layer -full connected layer -full connected layer -soft max out put lay 组成

特点:只有6w多个参数,那个时候使用的还是sigmoid,tanh激活函数,池化使用的是平均池化,随着层数的增加,nH,nW减少,而nC增加.

AlexNet

AlexNet与LeNet类似,其结构如下图,但是比LeNet更大,而且使用的是relu激活函数,它有6千万多个参数.

AlexNet在细节上使用了更多更复杂的东西,比如多个cpu训练,让这些cpu彼此联系

并且使用了LRN,不过后来被证实并没有多大作用

VCG-16

VCG是一个更加复杂的网络,他多达1.38亿个参数

特点:使用的filter都为3X3,stride=1,使用的是same padding;

　　max-pool尺寸为2X2,stride=2

3.Residual Networks

当训练的神经网络的深度越来越深时,由于存在的梯度消失与梯度爆炸的影响(原因:https://www.cnblogs.com/Dar-/p/9379956.html),加大了模型训练的难度

ResNets 能够解决这一问题,训练非常深层的网络.它使得神经元之间隔层相连,弱化了每层之间的强联系

ReNets中使用了残差块(Residual block),有许多跳跃相连的神经元,具体如下:

由多个Residual block构成Residual Network,一般的神经网络随着layer的增加,性能可能会发生下降,虽然理论上性能不会下降,但实际上回会下降.

而使用ResNet能够有更好的performance.

4.Why ResNets Work

为什么ResNets 很有用?

假设X为输入,经过多个NN后到达l层,得到a[l],

a[l+2]=g(w[l+2]a[l+2]+b[l+2] +a[l]),假设发生了梯度消失,即w[l+2]与b[l+2]接近0,则a[l+2]=g(a[l]),当a[l]>=0,激活函数为relu时,a[l+2]=a[l],

这弱化削减了神经元层之间的联系,使得隔层相连,从效果上说,忽略了l层后的两层,模型本身便能够容忍更多的NN.

且对于ResNets来说学习上面的恒等函数(a[l+2]=a[l])非常容易,所以尽管提升了网络的深度,但也不会影响性能

如果增加的网络结构学到了新的东西,就能提高网络性能.

当然，如果Residual blocks确实能训练得到非线性关系，那么也会忽略short cut，跟Plain Network起到同样的效果。

如果a[l+2]的维度与a[l]的维度不相同,就会引入一个Ws,让a[l]与Ws相乘得到一个维度与a[l+2]相同的维度,Ws可以通过训练得到,也可以直接固定

上图只在相同卷基层之间增加了skip connection，如上图实现部分的skip connection都是相同卷积层（前三个skip connection加在了（3x3 conv, 64）上面，经过3x3 conv 128的时候，变为虚线（即没有添加），而后在后面连着都是3x3 conv 128的地方又连着做了三个skip connection，这样做的原因就是保持 z(l+2) 与 a(l) 维度相同。