摘要：
Dropout是一种在训练期间提高深度神经网络泛化能力的技术。在 Convolutional Neural Networks (CNNs) 中实现 Dropout 的方法如下： 在卷积层或全连接层之间插入 Dropout 层。 设定随机失活概率。随机失活概率决定了在每次训练过程中失活的神经元数目。一 阅读全文
摘要：
梯度归一化是一种解决深度神经网络中梯度消失/爆炸问题的技术。梯度消失/爆炸是指当神经网络比较深时，梯度的大小可能变得非常小或非常大，从而导致学习率变慢或者无法学习。 梯度归一化是通过限制权重更新的最大步长来解决这个问题的。具体而言，当更新权重时，梯度归一化会将梯度的大小限制在一个合理的范围内，从而保 阅读全文