深度学习 の 经典网络结构&&设计原则
一. 经典的网络结构
ImageNet 是一个分类大赛，在这个上面的分类。
下边的网络主要是做图像分类的。
1.Alexnet
AlexNet有60 million个参数和65000个 神经元，五层卷积，三层全连接网络，最终的输出层是1000通道的softmax。AlexNet利用了两块GPU进行计算，大大提高了运算效率，并且在ILSVRC-2012竞赛中获得了top-5测试的15.3%error rate， 获得第二名的方法error rate 是 26.2%，可以说差距是非常的大了，足以说明这个网络在当时给学术界和工业界带来的冲击之大。
2.VGG
3.GoogLeNet （Inception V1，V2，V3）
全局平均池化的提出，在VGG 等结构里面，全连接层占用了大量的参数，所以在 Goodnet 里面，提出了使用全局平均池化来替代全连接层。
说白了，就是从特征图中求平均，这样的话被证明，对精确度的并没有造成很大程度上的降低。
还添加了两个辅助分类器
就是在梯度进行反向传播的时候，会出现梯度消失的问题，这个时候，就要使用辅助分类器，把最后正确的结果呢，然后再穿进去一遍。
GoogleNet 之所以会这么宽，就是因为他把所有要考虑到的情况都考虑进去了。
4.ResNet、ResNeXt
残差神经网络 , 就是相当于把错误的一部分提出来了，然后把搞错了继续再弄。
二. 设计原则
