-
使用ReLU作为激活函数，并验证其效果在较深的网络超过了Sigmoid，成功解决了sigmoid在网络较深时梯度消失问题
-
使用dropout（丢弃学习）随机忽略一部分神经元防止过拟合
-
在CNN中使用重叠的最大池化，此前CNN中普遍使用平均池化，AlexNet全部使用最大池化，避免平均池化的模糊化效果
-
提出了LRN（局部正规化）层，对局部神经元的活动创建竞争机制，使得其中响应比较大的值变得相对更大，并抑制其他神经反馈较小的神经元，增强了模型的泛化能力
-
使用CUDA加速深度卷积网络的训练，利用GPU强大的并行计算能力，处理神经网络训练时大量的矩阵运算
