通过 Batch Normalization 的方式 normalize 神经网络层的输入,以解决的 internal covariate shift 问题。

B={x1,,m} 表示一个 mini-batch,其 normalized 之后(去均值,方差为1)的值为:xˆ1,,m,再经过线性变换得 y1,,m

则 Batch Normalization 为:


这里写图片描述

注:

  • γ,β 如同权值矩阵 w 和偏值向量 b 一样都是待学习的参数;
posted on 2017-04-15 16:25  未雨愁眸  阅读(128)  评论(0编辑  收藏  举报