摘要：
测试时的 Batch Norm（ Batch Norm at test time） Batch 归一化将你的数据以 mini-batch 的形式逐一处理，但在测试时，你可能需要对每个样本逐一处理： $u = \frac{1}{m}\sum\limits_i {{z^{(i)}}}$ ${\sigma 阅读全文
摘要：
Batch Norm 为什么奏效？（ Why does Batch Norm work?） 一个原因是，你已经看到如何归一化输入特征值x，使其均值为 0，方差 1，它又是怎样加速学习的，有一些从 0 到 1 而不是从 1 到 1000 的特征值，通过归一化所有的输入特征值x，以获得类似范围的值，可以 阅读全文
摘要：
将 Batch Norm 拟合进神经网络（ Fitting Batch Norm into a neural network） 假设现有如下的神经网络： 可以认为每个单元负责计算两件事情：第一，先计算z，然后应用到激活函数中再计算a，所以，可以认为，每个圆圈代表着两步计算。 如果没有应用Batch归 阅读全文