通过 Batch Normalization 的方式 normalize 神经网络层的输入,以解决的 internal covariate shift 问题。
B={x1,…,m} 表示一个 mini-batch,其 normalized 之后(去均值,方差为1)的值为:xˆ1,…,m,再经过线性变换得 y1,…,m:
则 Batch Normalization 为:
注: