2019年4月30日
How Does Batch Normalization Help Optimization?
摘要： 1. 摘要 BN 是一个广泛应用的用于快速稳定地训练深度神经网络的技术，但是我们对其有效性的真正原因仍然所知甚少。 输入分布的稳定性和 BN 的成功之间关系很小，BN 对训练过程更根本的影响是：它让优化更加平滑。这种平滑让梯度更加可预测更加稳定，从而加速训练。 2. BN 和 internal co 阅读全文
posted @ 2019-04-30 12:16 seniusen 阅读(859) 评论(0) 推荐(0) 编辑