AlexNet

图片：手写数字的黑白照片
大小：28*28
样本数：69K
类数：10

AlexNet

• 更深更大的LeNet
• 主要改进：
  • 丢弃法
  • ReLu
  • MaxPooling
• 计算机视觉方法论的改变：通过CNN学习特征->Softmax回归

AlexNet架构
image(3x224x224)
11x11 Conv(96), stride 4
更大的核窗口、通道数（模式）、步长，因为图片更大了
3x3 MaxPool, stride 2
更大的池化窗口，使用最大池化层
5x5 Conv(256), pad 2
应该识别更多的模式->更大的数据通道
3x3 MaxPool, stride 2
5x5 Conv(384), pad 1
5x5 Conv(384), pad 1
5x5 Conv(384), pad 1
新加了3层卷积层
3x3 MaxPool, stride 2
Dense(4096)
做1000类的分类
Dense(4096)
Dense(1000)

更多细节

• 激活函数从sigmoid变到了ReLu (减缓梯度消失)
• 隐藏全连接层后加入了丢弃层
• 数据增强