【机器学习与深度学习理论要点】26.请列举AlexNet的特点

目录

  请列举AlexNet的特点

请列举AlexNet的特点

• 使用ReLU作为激活函数，并验证其效果在较深的网络超过了Sigmoid，成功解决了sigmoid在网络较深时梯度消失问题

• 使用dropout（丢弃学习）随机忽略一部分神经元防止过拟合

• 在CNN中使用重叠的最大池化，此前CNN中普遍使用平均池化，AlexNet全部使用最大池化，避免平均池化的模糊化效果

• 提出了LRN（局部正规化）层，对局部神经元的活动创建竞争机制，使得其中响应比较大的值变得相对更大，并抑制其他神经反馈较小的神经元，增强了模型的泛化能力

• 使用CUDA加速深度卷积网络的训练，利用GPU强大的并行计算能力，处理神经网络训练时大量的矩阵运算

作者：野哥李
微信公众号：AI算法学习社
欢迎任何形式的转载，但请务必注明出处。
限于本人水平，如果文章和代码有表述不当之处，还请不吝赐教。
本文章不做任何商业用途，仅作为自学所用，文章后面会有参考链接，我可能会复制原作者的话，如果介意，我会修改或者删除。