摘要：
权重初始化（Weight initialization） 之前的方式是根据独立高斯随机变量来选择权重和偏置，其被归一化为均值为0，标准差为1。 我们可以比使用归一化的高斯分布做的更好。假设我们已经使用归一化的高斯分布初始化了连接第一个隐藏层的权重。现在我将注意力集中在这一层的连接权重上，忽略网络其他 阅读全文
摘要：
Overfitting and regularization（过度拟合和规范化） 我们的网络在280迭代期后就不再能够推广到测试数据上。所以这不是有用的学习。我们说网络在280迭代期后就过度拟合(overfitting)或过度训练（overtraining）了。 我们的网络实际上在学习训练数据集的特 阅读全文
摘要：
The cross-entropy cost function(交叉熵代价函数) 二次代价函数： 二次代价函数权重和偏置的偏导数： σ函数的图像： 从图中可以看出，当神经元的输出接近1的时候，曲线变得非常平，所以σ’(z)就很小，这导致了∂C/∂w和∂C/∂b也会非常小。最终导致学习速度下降。 引入 阅读全文
摘要：
How the backpropagation algorithm works 反向传播的目标是计算代价函数C分别关于w和b的偏导数∂C/∂w和∂C/∂b。 反向传播的核心是一个对代价函数C关于任何权重w（或者偏置b）的偏导数∂C/∂w的表达式。这个表达式告诉我们在改变权重和偏置时，代价函数变化的快 阅读全文
摘要：
""" network.py ~~~~~~~~~~ A module to implement the stochastic gradient descent learning algorithm for a feedforward neural network. Gradients are calculated using backpropagation. Note that I hav... 阅读全文