摘要：
训练一个 Softmax 分类器（ Training a Softmax classifier） Softmax 这个名称的来源是与所谓hardmax 对比， hardmax会把向量z变成这个向量： hardmax 函数会观察z的元素，然后在z中最大元素的位置放上 1，其它位置放上 0，所以这是一个 阅读全文
摘要：
Softmax 回归（Softmax regression） 我们讲到过的分类的例子都使用了二分分类，这种分类只有两种可能的标记 0 或 1，这是一只猫或者不是一只猫，如果我们有多种可能的类型的话呢？有一种 logistic回归的一般形式，叫做 Softmax 回归，能让你在试图识别某一分类时做出预 阅读全文
摘要：
测试时的 Batch Norm（ Batch Norm at test time） Batch 归一化将你的数据以 mini-batch 的形式逐一处理，但在测试时，你可能需要对每个样本逐一处理： $u = \frac{1}{m}\sum\limits_i {{z^{(i)}}}$ ${\sigma 阅读全文
摘要：
Batch Norm 为什么奏效？（ Why does Batch Norm work?） 一个原因是，你已经看到如何归一化输入特征值x，使其均值为 0，方差 1，它又是怎样加速学习的，有一些从 0 到 1 而不是从 1 到 1000 的特征值，通过归一化所有的输入特征值x，以获得类似范围的值，可以 阅读全文
摘要：
将 Batch Norm 拟合进神经网络（ Fitting Batch Norm into a neural network） 假设现有如下的神经网络： 可以认为每个单元负责计算两件事情：第一，先计算z，然后应用到激活函数中再计算a，所以，可以认为，每个圆圈代表着两步计算。 如果没有应用Batch归 阅读全文