2020年1月15日
Batch Normalization和Layer Normalization的对比分析
摘要： 一、为什么对数据归一化 我们知道在神经网络训练开始前，需要对输入数据做归一化处理，那么具体为什么需要归一化呢？ 原因在于：神经网络学习过程本质就是为了学习数据特征以及数据的分布特征，一旦训练数据与测试数据的分布不同，那么网络的泛化能力也大大降低；另外一方面，一旦每批训练数据的分布各不相同(batch 阅读全文
posted @ 2020-01-15 15:57 喂你在哪 阅读(5578) 评论(1) 推荐(1) 编辑