摘要：
动量梯度下降 主要是选用指数加权平均的思想，给梯度下降增加一个动量，使这个梯度下降可以在纵向摆动更小，横向摆动更大（每一次都是往最优的方向前进），从而加快了收敛速度。 超参数：学习率α、β默认值是0.9 RMSProp 也是利用指数加权平均的思想，只不过在动量梯度下降基础上加上了平方根的思想，这样使 阅读全文
摘要：
图像分类： AlexNet、VGGNet、GoogLeNet、ResNet优化算法： 动量梯度下降、RMSPROP、Adam两阶段目标检测： R-CNN、SPP-Net、Fast R-CNN、Faster R-CNN单阶段目标检测： YOLO V1、YOLO V2、YOLO V3、 YOLO V4机 阅读全文
摘要：
AlexNet 大致框架AlexNet是深度神经网络的开山之作，其中包括前五层是卷积层、三层的全连接层、和softmax层分类。其中使用了ReLU激活函数、局部响应归一化、重叠池化、在最后一层的全连接上dropout。 优点：使得速度变快，使用relu激活函数，使用重叠池化，droupout等，提高 阅读全文