经典神经网络对比
LeNet-5(1998) | AlexNet(2012) | VGGNet(2014) | GoogLeNet(2014) | ResNet(2015) | DenseNet(2017) | |
输入层 | 32*32*1 | 224*224*3 | 224*224*3 | 224*224*3 | 224*224*3 | |
卷积层 | 3 | 5 | 13 | |||
卷积核 | 5*5 | 11*11,5*5,3*3 | 3*3,1*1 | 5*5,3*3,1*1 | 7*7,3*3,1*1 | 3*3,1*1 |
池化层 | 2 | 3 | 5 | |||
池化核 | 2*2 | 3*3 | 2*2 | 3*3;全局平均池化:7*7 | 3*3 | 2*2 |
全连接层 | 2 | 3 | 3 | |||
输出层 | 10(0-9每个数字的概率) | 1000(ImageNet图像分类) | 1000(ImageNet图像分类) | 1000(ImageNet图像分类) | 1000(ImageNet图像分类) | |
网络层次 | 5 | 8 | 16 or 19 | 22 | 152 | 121 |
结构 | 3卷积(2池化)+2全连接 | 5卷积(3池化)+3全连接 | 5卷积组(5池化)+2全连接图像特征+1全连接分类特征 | 2单独卷积层(2池化)+9inception结构+1全局平均池化+1全连接(softmax) | “瓶颈残差模块”:依次由1*1,3*3,1*1三个卷积层堆积而成,提高计算效率 |
dense block:BN-ReLU-Conv(1×1)-BN-ReLU-Conv(3×3); 每个DenseBlock的之间层由BN−>Conv(1×1)−>averagePooling(2×2)组成 |
特点 |
CNN开山之作,定义了CNN 的基本组件,确立了其基本 架构 |
原始图片为256*256,使用了数据增广随机剪裁为224*224;拥有更深的网络,使用多CPU训练,RELU,dropout,LRN,局部响应归一化 | 采用了Pre-training的方式(先训练一部分网络,确保这部分网络稳定后,再在这基础上逐渐加深;卷积层使用了更小的filter尺寸和间隔,增加了非线性表达能力,减少了参数量 | 引入Inception结构代替单纯的卷积+激活传统操作,中间层增加辅助LOSS单元(目的是计算损失时让低层的特征也有很好的区分能力),帮助网络收敛,最后的全连接层全部替换为全局平均池化,减少参数,精度更高,训练更快 |
层数非常深; |
密集连接,缓解了梯度消失的问题,加强特征传播,鼓励特征复用,极大地减少了参数量,减少了计算量;缺点:内存占用非常高 |
结构图 | ![]() |
![]() |
![]() |
![]() |
![]() |
![]() |
![]() |
![]() |